打开vs code新建文件.py(后缀名设置为.py)
编写爬虫程序思路
1.urllib3为外部模块需要下载(按住Windows徽+R/输入cmd/输入pip install urllib3.request)2.关闭ssl警告
3.设置请求地址
4.创建连接池请求对象
5.发送网络请求
6.打印二进制数据
7.创建open对象(指文件)
8.写入数据
9.关闭
首先找到url
打开网页(这里抖音为例子)
打开开发人员工具(按F12打开或者按Fn+F12即可打开)
找到网络
选择img(指照片)和Overview(指重复网络响应不显示)
在名称中点击右边预览,在名称中找到想要的内容(预览会显示)
点击名称在新标签中打开
查看是否是需要的内容,复制网址url
url是程序中的url
编写程序
import urllib3#导入urllib3模块
urllib3.disable_warnings()#关闭ssl警告
url='https://p11-sign.douyinpic.com/tos-cn-p-0015/b01ebd940d804799ae0c29204723d112_1700192663~tplv-noop.image?dy_q=1700314482&l=202311182134416491789D19EDBB911533&x-expires=1700318369&x-signature=atZ5YMGZr7HKeswF3gEN6k7v2KA%3D'#文件地址
http=urllib3.PoolManager()#创建连接池管理对象
r=http.request('get',url)#发送get网络请求
print(r.data)#打印二进制数据
f=open('图片.png','wb+')#创建open对象
f.write(r.data)#写入数据
f.close()#关闭
点右上角三角形运行会看到文件中多了一个图片.png的文件(文件名取决于open('name','wb+')中的name名称
图片.png就是我们下载了的文件
下载视频也是同理(只是参数有改变)url改变和open中的name需要调整为解析的格式视频
url='视频地址'
open('视频.mp4','wb+')
其中找到视频网址的方式是在网络请求中找到媒体并选择媒体
可以看见在文件夹中多了视频.mp4文件,视频.mp4就是下载的文件
完成