爬虫
文章平均质量分 51
胖了就多吃点
学无止境,放荡不羁
展开
-
【JS逆向】猿人学第二题动态cookie
【JS逆向】猿人学第二题动态cookie一、分析网站题目已经声明 关于cookie方面加密 所以进入网站后需要清理网站加载的cookie方便调试再次请求网站分析网站加载的参数这里看到网站请求了两次接口 观察发现第一次请求并没有携带cookie。第二次请求携带cookie 并且带有数据 像这种一般加密js都会在第一次请求中使用requests请求该链接 得到混淆后的js将整段js放入猿人学解混淆工具中分析代码[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来原创 2021-06-17 17:25:01 · 533 阅读 · 0 评论 -
【JS逆向】回收宝 sign值加密验证
回收宝一、接口分析通过观察 网站每次请求都会生成一个三个值timestamp:时间戳ukey:?sign:?二、定位js找到生成参数的js位置有好几种方法 可以从堆栈中找 也可以直接全局搜索(如果参数名比较特殊的话)这次直接用全局搜索一个一个点进去已经找到了js位置 下面开始打断点 一步步调试三、断点调试ukey :ukey 只是随机生成的一个参数 固定函数 把这个函数直接调用就好sign :观察一下 sign值的生成因该跟前面生成的参数有关原创 2021-05-28 11:00:57 · 373 阅读 · 3 评论 -
【爬虫基础】Requests各种用法
标题一、GET请求1. 基础请求import requests response = requests.get('http://httpbin.org/get')print(response.text)2. 携带参数方式一:import requests response = requests.get('http://httpbin.org/get?name=0bug&age=25')print(response.text)方式二:import requests原创 2021-04-19 11:24:06 · 499 阅读 · 2 评论 -
【爬虫实战】 58同城爬虫-商铺信息采集
58同城商铺信息采集器-含商家电话-含ui结果展示程序展示程序技术点requests -用于向页面发送请求queue - 队列 用来存放爬虫任务、爬虫结果threading - 线程库 用来实现多线程采集bs4 - 解析得到的html页面数据openpyxl - 将数据写入excel 相对于xlwt 可写入行数更多 xlwt只能写入6w+行数据 不能满足需求mysql -数据库pyqt5 解决ui需求主要代码程序UIclass FormLayout(QtWidge原创 2020-08-19 19:06:18 · 5316 阅读 · 19 评论