本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
想要学习Python?有问题得不到第一时间解决?来看看这里,满足你的需求,资料都已经上传至文件中,可以自行下载!还有海量最新2020python学习资料。
点击查看
一、前言:
随着QQ 微信的兴起,越来越多的人为了展示个性都喜欢收藏好看的头像但是面对海量的头像图片如果一个一个去下载的话那么会很麻烦 如何解决这个问题呢?
二、所用到得库
# 自动创建头像存储文件夹
import os
# 下载包
import urllib.request
# 网络请求包
import requests
# 网页选择器
from bs4 import BeautifulSoup
三、分享内容:
requests爬虫库
bs4网页选择器
urllib下载器
四、爬虫运行流程
1.模拟浏览器向服务器发送了一个http请求
2.当网站接收到请求后
3.返回数据给爬虫
五、代码流程:
1.创建存储文件夹
2.模拟浏览器
3.requests get请求 拿到网站页面数据
4.在页面中筛选我们想要的数据
5.下载数据