自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Python编程与实战的博客

爬虫,逆向,web后台,数据可视化分析

  • 博客(68)
  • 收藏
  • 关注

原创 用Python爬取了全国近5000家旅游景点,分析国庆去哪玩

Python编程与实战2020 国庆马上就要到了我想今年大家在家都憋坏了今年国庆和中秋刚好又是同一天,加起来有 8 天假这么长的假期,当然是出去 玩玩玩!但是每次长假期间,你有没有想起被人山人海支配的恐惧呢?那么该去哪些地方呢?下面我用 Python 爬取了全国近 **5000 **个旅游景点,并结合 **pyecharts **来做分析技能包爬虫Mysqlsqlalchemypyecharts数据爬取旅游景点的数据是从网上爬取的,该数据包含以下维度:景点名称,所属省.

2020-09-23 20:03:19 134

原创 爬虫 | JS逆向某验滑动加密分析

声明:本文只用于学习研究,禁止用于非法用途,如有侵权,请联系我删除,谢谢!今天给大家来分析并还原某验的 JS 加密,做过爬虫的应该都知道这个验证码,如果你还没遇到以后你会碰到的相信我话不多说,时间宝贵,进入正题!抓包进入官网,点击选择今天的主题滑动验证,其他验证类型的加密大同小异,只要你掌握了下面的方法!点击按钮抓包,随意拖动一下,请求数据包如下可以看到一堆请求参数,其实你要做的就是实现 w 的加密点击进去,就能看到加密的 JS 文件,为便于分析将其保存到本地。AST 还原通过调试可

2020-09-05 09:16:41 54

原创 全面拥抱 FastApi — 多应用程序管理蓝图APIRouter
原力计划

FastAPI是一个,并发性能可以和 NodeJS 以及 Go 相媲美。它是基于Starlette框架, 类似于Starlette 的一个子类。本人最近也是一直在使用和学习 FastApi,相比之前用的框架性能确实有很大的提升,用完后有如下几点感受:性能并发更强了,支持异步 async基于 Pydantic 的类型声明,自动校验参数自动生成交互式的 API 接口文档上手简单,能快速编码...

2020-03-30 14:10:48 2587 1

原创 利用 Flask 动态展示 Pyecharts 图表数据的几种方法

本文将介绍如何在 web 框架 Flask 中使用可视化工具 pyecharts, 看完本教程你将掌握几种动态展示可视化数据的方法,不会的话你来找我呀…Flask 模板渲染1. 首先我们新建一个项目 flask-echarts在编辑器中选择 New Project,然后选择 Flask,创建完之后,Pycharm 会帮我们把启动脚本和模板文件夹都建好2. 拷贝 pyecharts 模板...

2019-09-03 18:33:42 2536 9

原创 Python爬虫进阶之JS逆向入门

前言最近有朋友推荐了一个很简单的需要 js 逆向的网站中国土地市场网主要是需要获取下面的信息分析首先当然是抓包分析返回的数据或者直接将链接放到代码里面,将响应内容打印出来。如果一样的话说明直接就能获取到,否则的话可能就是对网页进行了处理等上面是用代码请求返回的响应html 中嵌入了 JS,而且很可能做了跳转,因为有个 location 的变量破解下面是通过 Chrome ...

2019-05-29 09:29:43 2217

原创 python数据可视化神器--pyecharts 快速入门

前言我们都知道python上的一款可视化工具 matplotlib , 但是它是静态的。后来发现了 pyecharts 模块,简直好用到不行,可视化类型非常多,它是基于 Echarts 开发的。 Echarts 是百度开源的一个数据可视化 JS 库,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python,很适合用于数据处理。当数据分析遇上数据可视化时,pyechart...

2019-05-06 22:49:24 2467 2

原创 Python爬虫进阶之APP逆向(二)

###写在前面的话今天分享另一个app逆向的实战如果觉得对你有用,还请关注下公众号,后续会有更多的app逆向实战篇,以免错过!话不多说,进入正题,开搞###抓包国际惯例,先抓包分析请求参数,可以看到,手机号码以及密码都是加密的###app反编译使用 jadx 直接打开 apk 文件或者用 AndroidKiller 也可以,最近在研究 app逆向,这个工具用的比较多。其实...

2019-04-04 14:14:27 1395

原创 安卓APP逆向入门破解

前言:前段时间做爬虫遇到一个app,里面的数据需要登录之后才能拿到,而且登录不能用密码,只能通过验证码登录。这不是明摆着欺负人么,按赵四哥那句话来说就是:生死看淡,不服就干!所以接下来手把手带大家就某个app登陆请求的加密参数进行分析破解,从而实现从网络抓包的密文到明文的转换。环境配置:PyhtonJavadex2jar(将apk反编译成java源码)jd_gui(源码查看...

2019-03-21 09:13:25 2405 6

原创 当Django遇上Pyecharts将碰撞出怎样的火花……

本文将介绍如何在 web 框架 Django 中使用可视化工具 Pyecharts, 看完本教程你将掌握几种动态展示可视化数据的方法Django 模板渲染1. 新建一个 Django 项目命令行中输入以下命令django-admin startproject pyecharts_django_demo创建一个应用程序python manage.py startapp demo创建完之后,在Pycharm 中打开该项目,当然你也可以直接在 Pycharm 中创建同时在 pyecharts

2020-11-11 20:20:29 71 1

原创 爬虫|如何在scrapy请求异常之后再设置代理IP

我们都知道 scrapy 可以设置代理 IP,但是不知道大家有没有遇到这样一个场景:常规的代理IP设置,会对每个请求都生效,也就是说每个请求都会去使用代理但是有些请求根本不需要代理,我希望当我的请求出现错误或超时的时候再去设置代理IP这样既节省了资源,又缩短了请求的时间,毕竟有些代理质量真的一言难尽那么怎么才能让它请求超时的时候,再使用代理IP进行重新请求呢?很容易就想到下载中间件,DowmloaderMiddleware一个介于request, response中间的钩子,用于修改reques

2020-10-30 17:08:41 90 1

原创 用Python分析了近几年富豪排行榜,我酸了...

10 月 20 日,胡润研究院发布《2020 胡润百富榜》,也就是富富富豪排行榜杭州的马云毫无悬念的再次摘下中国首富桂冠,深圳的马化腾位列第二榜单被我翻烂了,还是没有找到我的名字,难道是被遗漏了吗??难度我不配有名字吗??太可恶了,毕竟我和马云的财富加起来,在榜单上也是排名第十的!不信我? 请看图不仅 2020 年排行榜上没有在我爬取了从 2015 到 2020 这几年的排行榜后,还是没有找到我的名字!5 年!5 年!你知道我这 5 年是怎么过的吗…对!我的排名一直稳定在 13 亿左右(知

2020-10-29 09:52:05 159

原创 Python内置函数大全!建议收藏

1. abs()语法abs(x), 返回一个数的绝对值。 参数可以是一个整数或浮点数。 如果参数是一个复数,则返回它的模示例2. all()语法all(iterable), 如果 iterable 的所有元素均为True(或 iterable 为空)则返回 True 。 等价代码如下:def all(iterable): for element in iterable: if not element: return False ret

2020-10-24 10:59:52 86

原创 scrapy 出现 [twisted.internet.error.TimeoutError:] 的几种解决方案

在使用 scapy 进行大批量爬取的时候,少数请求链接会出现请求超时,当出现请求超时时,爬虫会自动重试三次。扩展,可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制若超过 180s 且三次后且还是没有得到数据,就会出现 twisted.internet.error.TimeoutError 错误。提供几种解决办法:1、降低同时请求的数量CONCURRENT_REQUESTS = 52、 增加超时时间DOWNLOAD_TIMEOUT = 20003、 增加重试次

2020-10-17 14:33:19 75

原创 玩转 PyCharm ,这篇文章就够了

本文假设读者熟悉 Python 开发,且计算机中已安装某个版本的 Python。该教程将使用 Python 3.6 版本,屏幕截图和 demo 均来自 macOS 系统。由于 PyCharm 可在所有主流平台上运行,读者在其他系统中会看到略微不同的 UI 元素,可能需要调整某些命令。1. PyCharm 的安装本文将使用 PyCharm Community Edition 2019.1 版本,该版本免费且可在所有主流平台上使用。只有最后一部分「PyCharm Professional 功能」使用的是.

2020-09-12 10:57:25 239

原创 爬虫 | JS逆向某验滑动加密(二)

声明:本文只用于学习研究,禁止用于非法用途,如有侵权,请联系我删除,谢谢!上篇文章给大家分析还原了某验滑动的混淆代码,然后后台很多人在问后面的加密以及整个流程是啥,所以今天索性就把整个加密都弄出来吧!话不多说,时间宝贵,开干!回到之前 w 的加密处可以看到该函数接收了三个参数。调用栈往上追一下还原后的代码非常清晰,这三个参数就是 c, l, n["$_DAAD"], 仔细看代码 _ = e ? n["lastPoint"]["x"]&nbsp

2020-09-11 09:51:00 44

原创 APP爬虫| 逆向神器 frida 初试

前言frida 真的是app逆向的神器,当你遇上他的时候,就会爱上他。这篇文章主要是通过自己写个app的demo,然后一步步的hook它。之后会有系列的文章介绍frida对其他app的应用。知识准备frida 基础知识android 知识环境as android开发工具已 root 的安卓手机android和python的frida环境描述之前在如何让app不走代理的文章中写了一个小的app的demo。现在我准备一步一步的hook这个demo。以便能加深对frida 的理解。

2020-09-02 16:11:22 135

原创 Python爬虫|JS逆向调试技巧大全

当我们抓取网页端数据时,经常被加密参数、加密数据所困扰,如何快速定位这些加解密函数,尤为重要。本片文章是我逆向js时一些技巧的总结,如有遗漏,欢迎补充。所需环境:Chrome浏览器1. 搜索1.1 全局搜索适用于根据关键词快速定位关键文件及代码当前页面右键->检查,弹出检查工具搜索支持 关键词、正则表达式1.2 代码内搜索适用于根据关键词快速定位关键代码点击代码,然后按ctrl+f 或 command+f 调出搜索框。搜索支持 关键词、css表达式、xpath2. de

2020-09-02 15:56:09 60

原创 全面拥抱FasiApi ——三大参数及验证
原力计划

前几天写了一篇关于 FastApi 进阶的多应用程序管理蓝图APIRouter,可能对于有些没有基础的朋友看起来会有点懵,所以后面会按照由浅及深的顺序进行更新,记得关注噢先看下 FastAPI 有哪些突出特点,官网介绍如下:快速:非常高的性能,性能可与NodeJS和Go相媲美(感谢Starlette 和 Pydantic)。现有最快的Python框架之一。快速编码:将功能开发速度提高约200...

2020-04-07 16:58:32 477

原创 Python爬虫偷懒神器 ---- 快速构造请求头!
原力计划

我们在写爬虫构建请求的时候,不可避免地要添加请求头( headers ),一般来说,我们只要添加 user-agent 就能满足绝大部分需求了但这并不是绝对的,有些请求单单添加一个 user-agent 是不能获取到数据的,在不知道是缺少哪个请求头参数的情况下,我一般会先把所有参数全部添加上,然后再逐个排除。如果是后面这种情况,相信大家都会有这种感觉:手动将浏览器中请求头复制粘贴然后构造成字典...

2020-03-22 21:00:56 162

原创 Python 系列教程 | 字符串

字符串是 Python 中最常见的数据类型,我们可以使用引号(' 或 ")来创建字符串。字符串是以 Unicode 编码的,支持多种语言。比如 '你好', 'Hello World',这些都是基本的字符串。下面介绍下字符串的常用方法及函数 !字符串拼接与截取在 Python 中用 “”+“” 号连接即可,字符串的截取直接使用根据其下标截取,例如:>>> str1 = "he...

2020-03-02 20:50:57 670

原创 Python爬虫进阶之某支付网站密码分析

目标网站aHR0cHM6Ly9hdXRoLmFsaXBheS5jb20vbG9naW4vaW5kZXguaHRt今日目标网站是我们常用的支付网站,感觉自己有点飘了~~这里只解密密码的加密方式,至于其他参数…请求分析先看请求,输入账号,密码后点击登录,记得提前浏览器打开 F12这里注意输入错误的密码,方便我们查看请求数据包在浏览器的开发者工具界面,快捷键 Crtl+Shift+F 直...

2020-02-29 11:41:14 299

原创 用Python自动生成NBA历史巨星和现役球员生涯曲线

本文技术栈:爬虫Flaskpyecharts1.序之前写过一个用 python 自动生成球员职业生涯数据的程序,大家的反响很好,我也感到很欣慰。有问我怎么做的,如何学 python 的,也有提建议说集成到 web 里面的。其实最开始我也是考虑到集成到 web 里面,但是由于时间关系,只是简单的做了一下,没想到引起了大家的关注和建议。所以这次就做了升级,集成到 web 中!先看效果吧...

2020-02-16 10:57:57 746

原创 用Python来可视化微信好友

前言最近在研究 pyecharts 的用法,它是 python 的一个可视化工具,然后就想着结合微信来一起玩不多说,直接看效果:环境配置pip install pyechartspip install snapshot_seleniumpip install echarts-countries-pypkgpip install echarts-china-provinces-py...

2020-02-16 10:54:10 794

原创 Python爬虫进阶之JS逆向混淆加密和AES加密的破解

圣诞节到了, 这不,我来送 "礼物" 了,X江酒店登录页面的参数加密破解。地址如下:aHR0cHM6Ly9ob3RlbC5iZXN0d2Vob3RlbC5jb20vTmV3TG9naW4v浏览器输入上方解密后的地址,F12 打开浏览器开发者工具,随意输入一个账号和密码。这里密码输入我一般用的 123456,抓包之后如下图:有两个加密的参数 black_box 和 password.这...

2020-02-16 10:46:22 1093 2

原创 详解Flask 中的session 和 cookie的应用

前言做过爬虫的朋友相信对 session 和 cookie 这两个东西非常的熟悉了,简单点说 cookie 是客户端用来标识用户信息的,session 是一种会话机制,首先我们要对 cookie 的整个流程有个清晰的认知:做过爬虫的都知道浏览器向服务器发起某个登录请求,登录成功后的 Response Headers 中就有了 cookie 。那么这个 cookie 就是从服务器生成并返回给浏...

2020-02-16 10:43:31 728

原创 Python爬虫进阶之巧破RSA加密

一某团 PASSWORD 参数网址如下:aHR0cHM6Ly9wYXNzcG9ydC5tZWl0dWFuLmNvbS9hY2NvdW50L3VuaXRpdmVsb2dpbg==下面的抓包的界面:这里有三个参数是需求构造的,password,csrf(这个简单,从html中获取即可),h5Fingerprint。h5Fingerprint 以前的参数名是 token, 这个今天不演示,有兴趣...

2020-01-07 22:38:33 1061 1

原创 火车票被秒光,别慌!快用Python来抢票!

点击“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!2019年接近尾声,距离春节回家的日子越来越近,有没有很激动啊!要回家过年啦!回家过年最重要的事情...

2019-12-27 09:03:00 194

原创 Python爬虫进阶之JS逆向某视频网站登录

很久没更新JS逆向方面的文章了,一个原因是因为最近爬虫这方面管的比较严,相信大家都看过很多违法的案例了,就不细说了。另一个原因是我换坑了,现在的工作内容基本上和爬虫不相关了。不过大家请放心这方面的内容会持续慢慢…更新下去,当然还有web这方面的内容以及Python其他方向的,各位看官勿催,我会尽量保证几天更新一篇,毕竟保质的同时不能保量,还是以质优先!哈哈哈~虽然质也不怎么地…好吧编不下去了了...

2019-12-25 14:07:03 251 1

原创 Python爬虫进阶之JS逆向混淆加密和AES加密的破解

圣诞节到了, 这不,我来送 “礼物” 了,X江酒店登录页面的参数加密破解。地址如下:aHR0cHM6Ly9ob3RlbC5iZXN0d2Vob3RlbC5jb20vTmV3TG9naW4v浏览器输入上方解密后的地址,F12 打开浏览器开发者工具,随意输入一个账号和密码。这里密码输入我一般用的 123456,抓包之后如下图:有两个加密的参数 black_box 和 password.这...

2019-12-25 14:02:53 665

原创 pkuseg 和 jieba 分词对比测试,结果出乎意料...

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 5 分钟。有做过搜索的朋友知道,分词的好坏直接影响我们最终的搜索结果。在分词...

2019-12-09 18:38:00 229

原创 Flask 高并发部署方案详细教程!

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 10分钟。前言虽然标题写的是 Flask,但是下面这个教程不仅仅只适用于 ...

2019-12-02 17:20:39 963

原创 北大开源分词工具包: 准确率远超THULAC、jieba 分词

pkuseg 的优势pkuseg 是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。pkuseg 具有如下几个特点:多领域分词。相比于其他的中文分词工具包,此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点,用户可以自由地选择不同的模型。我们目前支持了新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型。在使用中,如果用户明确待...

2019-11-17 22:15:51 215

原创 一文读懂Python web框架和web服务器之间的关系

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!我们都知道 Python 作为一门强大的语言,能够适应快速原型和较大项目的制作,因此被广泛用于 web 应用程序的开发中。在面试的过程中,大家或多或少都被问到过这样一个问题:一个请求从浏览器发出到数据返回都经历过哪些过程?要回答这个问题,首先你需要对 HTTP 协议、web框架、服务器等底层知识有一定的储备...

2019-11-04 08:36:00 367

原创 Python 进阶编程之字典的高级用法

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 11分钟。一、 collections 中 default...

2019-10-29 08:38:00 225

原创 51信用卡为什么被查?Python 告诉你!

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 6 分钟。10月21日上午,在香港上市的金融独角兽 “51信...

2019-10-25 09:20:58 311

原创 一个高性能的web服务是如何搭建的?

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 8 分钟。用过 Flask框架的朋友都知道,Flask 自...

2019-10-13 23:09:51 323 1

原创 自费送书!你敢抽,我敢送,就是这么任性!

福利时间1. 本公众号 【Python编程与实战 】开通也快大半年了,一直想给一路上支持我的朋友们送几本书,但是一直没有找到有合作意向的出版社!2. 万幸昨天接了一个小广告,有点恰饭的钱。有广告愿意投放,说明这个号还有点价值,还望大家能够理解,毕竟公众号唯一的收入来源,就是接点广告了。3. 马上到国庆节了,为了回馈一直支持我的朋友们,我把这些小钱拿来给大家买书,一共3本,再次感谢金主,大家都...

2019-09-30 15:12:03 115

原创 Python 人脸识别就多简单,看这个就够了!

点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 11分钟。今天给大家介绍一个世界上最简洁的人脸识别库 face_recognition,你可以使用 Python 和命令行工具进行提取、识别、操作人脸。基于业内领先的 C++ 开源库 dlib 中的深度学习模型,用 Labeled Faces in the Wild ...

2019-09-27 11:45:01 187

原创 Flask 表单验证之 WTForms

点击上方“Python编程与实战”,关注公众号本文主要内容 如何在 Flask 中对参数进行校验 Wtforms 的使用 一:参数验证的必要性当你处理浏览器提交的 POST 带有参数的请求时,比如一个用户注册的功能,网站都会对用户提交的密码长度进行限制。这时候如果视图函数中编写自定义的参数校验的时候,视图代码很快会变得难以阅读。尤其当参数非常多的时候,代码...

2019-09-22 20:00:00 88

原创 Android逆向——定位到某书 Sign 算法

一、浅谈Okhttp拦截器添加一个自定义拦截器很简单,只需要实现 Okhttp 的 Interceptor 接口,重写其中的intercept 方法,最后在 OkHttp...

2019-09-16 18:38:00 644

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除