python简单爬取斗图图片（自学第十天）

最新推荐文章于 2020-12-04 00:09:49 发布

雷姆天下第一

最新推荐文章于 2020-12-04 00:09:49 发布

阅读量417

点赞数 1

分类专栏：爬虫第三方库 python函数文章标签： python

本文链接：https://blog.csdn.net/yingshengdi/article/details/106217514

版权

本文介绍了如何使用Python进行简单的网络爬虫，以爬取斗图网站的图片和标题。首先，讲解了获取请求头的步骤，然后通过requests库获取网页信息，接着利用xpath解析网页，提取图片链接和标题。最后，提供了完整代码示例。

摘要由CSDN通过智能技术生成

一、前期准备

（一）.我们要爬取的页面

1，我们要爬取的网站为:https://www.doutula.com/photo/list/?page=1

2，获取请求头，来模拟浏览器浏览，不让网站直接就暴露我们是python，怎么获取请求头呢，很简单，按f12(右键检查)

很好，你已经会了请求头，那么现在就开始用工具把。

3，所以我们前期的代码是这样的：

def get_url(url):
#我们的请求头信息
 headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'
   }
#定义一个main函数
def main():
    for x in range(1,10):        #定义一个循环，设置我们要爬取的页数
        url &