python爬取高清动图
使用Pycharm以及pytnon3.8进行开发
接下来具体讲述如何使用python进行图片的爬取以及存储。
1.开发环境的配置
下载pycharm以及配置pycharm
- 下载pycharm(链接: link.)
- 安装完成后对pycharm进行设置
打开设置
选择Add添加python运行环境
添加第三方库文件
- 第三方库主要有requests,time,lxml;后面会用到
**ps:**如果无法正常添加则需要添加国内镜像库地址
清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:http://pypi.hustunique.com/
山东理工大学:http://pypi.sdutlinux.org/
豆瓣:http://pypi.douban.com/simple/
添加方法如下在上述步骤之后点击Manage Repositories
2.功能实现
1.爬取的网站为https://www.haha.mx/topic/1/new/
首选我们需要添加一个响应头文件,可以通过F12进行查看
定义一个请求头文件
// An highlighted block
headers = {
'User-Agent'