爬虫及处理
SailLiao
这个作者很懒,什么都没留下…
展开
-
搜狗微信的抓取总结
最近抓取了搜狗微信的数据,虽然也破解了跳转之类的,但是最后因为抓取的链接有时效性放弃了,也总结下目标网站 https://weixin.sogou.com/一样的,输入关键词,抓取列表,再回去跳转后的微信链接前10页是可以随便看的,也不需要登录,10页之后的数据需要微信扫码登录,这一块没法破解链接参数很多最后可以精简为https://weixin.sogou.com/weixin?query=烽火&page=11&type=2page就是页码,query就是关键..原创 2020-06-02 16:04:28 · 3616 阅读 · 1 评论 -
Python3 快手视频爬取
前提我们有一些具体的快手播放地址例如:https://live.kuaishou.com/u/shengxue1111/3xwgehu7uyudyeq打开后出现如下目的拿到视频的播放地址解决过程首先是F12看见返回的网页里面在最后有一个json串但是在用代码请求的时候没有这个东西,根据地址栏发生了变化 变为了https://live.kuaishou.com/...原创 2020-03-13 10:44:46 · 5055 阅读 · 2 评论 -
bilibili视频爬取与水印去除
需求采集特定用户下面的视频分析首先是获取到用户视频的列表 然后进行翻页 获取所有视频的ID 进行视频的下载实践通过观察发现用户的下面的视频列表来自特定的API翻页也是修改pn=的参数即可通过API拿到的数据的格式类似{"code":0,"message":"0","ttl":1,"data":{"list":{"tlist":{"1":{"tid":1,"cou...原创 2019-11-15 12:08:52 · 39044 阅读 · 6 评论