爬虫学习笔记：爬取百度贴吧（美女吧）图片

1、摘要

目的：爬虫项目学习，使用requests方法，爬取百度贴吧美女吧每个帖子的图片，并保存到本地中。

方法：首先，通过requests请求美女吧网页内容；其次，通过xpath方法清洗数据，获取到每个帖子的url地址；再次，请求每个帖子的地址，并从每个帖子地址中爬取图片链接；最后，请求图片数据，以二进制格式保存数据到本地。

2、网页分析

如下图所示，为本次爬取的目标网站，百度美女吧，需求：爬取每个帖子中的图片，并保存到本地。爬取该网站首先需要对该网站的特点进行分析，需要分析的内容包含：网站页面的特点、帖子url地址特点、图片链接地址如何获取。下面我一一介绍这几点需要分析的内容：

 

 2.1 美女吧网页特点

美女吧：https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0

通过观察可以看出࿱