![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
turb_csdn
这个作者很懒,什么都没留下…
展开
-
手机端小视频(抖音、快手、火山小视频)的视频下载分析
抖音1. 获取播放url的json数据请求的urlhttps://aweme-hl.snssdk.com/aweme/v1/feed/请求的方式getheadersheaders = { "User-Agent": "okhttp/3.10.0.1",}query stringparams = { "type": "0", "max_c...原创 2020-03-31 14:28:27 · 6225 阅读 · 0 评论 -
bilibili视频爬虫,支持关键字下载,协程并发
哔哩哔哩网站 https://www.bilibili.com/1. 接口分析1.1 视频播放地址分析找到一个接口地址 https://api.bilibili.com/pgc/player/web/playurl?cid=160231833&qn=0&type=&otype=json&avid=82232111&ep_id=307446&fo...原创 2020-03-19 15:59:27 · 1396 阅读 · 0 评论 -
酷我音乐爬虫(400多行代码)
酷我音乐 http://www.kuwo.cn/1. 分析音乐下载的接口http://www.kuwo.cn/url?format=mp3&rid=81010978&response=url&type=convert_url3&br=128kmp3&from=web&t=1584003980221&reqId=xxxxxxxxxxxxxx...原创 2020-03-19 16:12:40 · 5411 阅读 · 4 评论 -
省市区县乡镇村区域代码爬取 -- 统计局 协程 耗时7个小时
1. 写在前面的话爬取的这个网站http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html有一定的反爬机制,需要使用到代理,才能完全的爬取下来,不然,会遇到,爬取了1000多条数据之后,或出现502的服务器错误。2. 基本思路解析页面,提取数据,存入数据库。(多线程)它的页面结构都是相似的table表格,所以这里的爬取...原创 2020-02-28 15:54:07 · 1021 阅读 · 0 评论