爬虫基础篇
文章平均质量分 70
qq_40157234
这个作者很懒,什么都没留下…
展开
-
某些app无法抓包问题(续)
1. 如果你的android 版本是7.0及其以上, 你安装的证书都是默认安装在用户目录下,而不是安装在系统目录下, 系统不信任你安装的证书,证书无效,导致charls, fiddle这类抓包工具无法抓包.解决方法是将charls证书移动到系统路径下,这个过程需要手机root, 我个人是通过Magisk的插件Move Certificates , 该插件每次开机会将用户证书移动到系统证书下. 或者通过adb命令手动将证书放置在系统证书目录下,https://my.oschina.net/u/408.原创 2021-03-08 15:15:28 · 5336 阅读 · 0 评论 -
charles compose 与repeat的踩坑与解决
我遇到了这样的问题:charles抓包没问题,charles compose 和repeat 功能重现也能拿到数据但是将请求放到postman 以及python 代码中总是返回500折腾了很久,并且发现,charles的compose 直接点击执行是有数据的,一旦你在compose栏点击了form栏,即使没有编辑新的内容,headers 中的Content-Length也会变长。所以一...原创 2020-01-02 09:21:04 · 878 阅读 · 0 评论 -
scrapy post 踩坑
requests没问题,移植到scrapy中post请求报错试了很多方法,例如scrapy.Request, scrapy.http.Request, scrapy.FormRequest 都不成功最终成功拿到数据,方法如下使用 scrapy.Request 并且去掉headers中的Content-Length...原创 2019-12-31 19:37:36 · 371 阅读 · 3 评论 -
charles的请求数据包在postman上无法获得数据
遇到的问题:charles上的请求经过compose重发,并且有响应数据,但是将请求导出,移植到python代码或者是postman里面,始终报签名错误解决过程:因为headers的字段中带有冒号类似:method:post:scheme: https而带有冒号的字段是违反http协议的带有冒号是http2的标准,所有python的requests库会直接报错...原创 2019-12-26 09:49:02 · 1202 阅读 · 0 评论 -
selenium如何模拟点击标签?
大家好,我是chilly,写爬虫的过程中遇到了ajax加密的问题,request的url参数加了密,百度了一下午,终于找到了解决方案,使用selenium模拟浏览器来操作,我的需求如下 我想爬取酷狗 top500 的mp3的url 链接为 http://www.kugou.com/yy/rank/home/1-8888.html?from=rank 不知道看到这篇文章的你们能否成功的访问,好了,...原创 2018-04-30 17:30:12 · 13788 阅读 · 4 评论 -
python selenium爬取音频
大家好,我是chilly,今天是 2018年05月01日,下面给大家分享本人爬取酷狗音乐top100的音频的案例好,一起来看看需求我们想要爬取top100的歌曲信息以及歌曲所在的url。那么确定好需求后,我们就准备开始我们的步伐。在如上的页面F12,是没有我们所想要的MP3源地址的,所以我们点开任一首歌。打开F12开发者工具,页面如下可以看到,歌曲是经过 Ajax 异步加载获取的,而请求参数是加密...原创 2018-05-01 23:01:48 · 1892 阅读 · 0 评论 -
python递归实现序列求和
def mysum(items): head,*tail = items return head+sum(tail) if tail else head每次加列表尾部的首部,递归终止条件是 tail列表为空*符号的用法原创 2018-05-17 10:01:52 · 3633 阅读 · 0 评论 -
python gevent 初探
协程是轻量级线程,多个协程下的任务遇到 I/O 操作后由程序自主切换任务,而线程切换是操作系统完成的。gevent就是协程的实现库gevent 初探: 提高爬虫效率问题定义: 使用gevent提高爬虫请求效率from gevent import monkey; monkey.patch_all()import geventimport requestsdef f(u...原创 2019-09-30 19:16:49 · 228 阅读 · 0 评论