![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
吾乃蟑螂恶霸
这个作者很懒,什么都没留下…
展开
-
2021-10-20
爬东方财富网部分数据 需要的数据包-re、json、requests、panda 。 1,分析网站 找到url def get_data(page=11): df_list=[] for index range(1,page): #前十页的数据, 注意改url链接里面的index。 url=‘要爬取的链接’ headers={ ‘Referer’:链接, #防盗链 ‘user-agent’:链接 #用户代理,身份证 } resp=requets.get(url原创 2021-10-20 22:17:28 · 57 阅读 · 0 评论 -
爬虫#爬短视频并下载
爬虫# 爬短视频并下载 分析网站 浏览器网站过程;浏览器请求视频服务器然后视频服务器反馈视频数据 爬虫过程;找到请求(模拟浏览器发送请求)网址(可以根据preview确定),在preview里找到反馈数据,再从里面提取视频播放地址和视频的名称,后面根据视频播放地址保存到本地。 发送请求 ①发送请求; import requests url=‘地址’ ②模拟浏览器; 请求头 header={user-agent…(浏览器信息)} r=requests.get(url,headers=header).json原创 2021-10-18 22:22:45 · 192 阅读 · 0 评论