python网络爬虫（一） 爬取网站图片

网络爬虫系列

python网络爬虫（一） 爬取网站图片
python网络爬虫（二）分页爬取图片

什么是网络爬虫？

网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

爬虫流程

用户获取网络数据的方式：

• 方式1：浏览器提交请求—>下载网页代码—>解析成页面
• 方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中，爬虫要做的就是方式2。

---

1. 发起请求

   • 使用request模块的get、post函数
   • 使用url全球统一资源定位符，用来定义互联网上一个唯一的资源 例如：一张图片、一个文件、一段视频都可以用url唯一确定。
   • 请求头User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host；
   • 请求体如果是get方式࿰