Python爬虫实战案例：一键爬取，多种网页模板任你选！

本文链接：https://blog.csdn.net/llllllkkkkkooooo/article/details/108006568

文章目录

更多博主开源爬虫教程目录索引

一、网页查看

在这里插入图片描述

进入网页模板

在这里插入图片描述

多页爬取

在这里插入图片描述

二、网页爬取数据分析

在这里插入图片描述

三、代码分析

数据爬取部分

# 使用etree进行数据解析
tree = etree.HTML(page_text)

#参考图1，使用xpath语法根据id定位，定位后拿到下面的所有div标签下的a标签的href属性
#所有详情页url
a_list = tree.xpath("//div[@id='container']//div/a/@href")
#遍历详情页url
for a_li in a_list:
    # 发起详情页请求
    moban_data = requests.get(url=a_li, headers=headers)
    moban_data.encoding = "utf-8"

	#解析网页
    tree2 = etree.HTML(moban_data.text)
    #下载的url，参考图2
    rar_down = tree2.xpath("//div[@class='downbody']//div[@class='dian'][2]/a[1]/@href")
    #网页模板名称，参考图3
    rar_name = tree2.xpath("//div[@class='text_wrap']/h2/a/text()")[0]
    
    #rar_down是一个列表
    DownRar(rar_down[0], rar_name)

多页爬取部分

#多页爬取
for i in range(1,11):
	 #如果是第一页
     if i == 1:
         url = "http://sc.chinaz.com/moban/index.html"
     #不是第一页
     else:
         url = "http://sc.chinaz.com/moban/index_" + str(i) + ".html"

四、图片辅助分析

图1
在这里插入图片描述

图2
在这里插入图片描述
图3

五、运行结果

在这里插入图片描述

CSDN独家福利降临！！！

最近CSDN有个独家出品的活动，也就是下面的《Python的全栈知识图谱》，路线规划的非常详细,尺寸是870mm x 560mm 小伙伴们可以按照上面的流程进行系统的学习，不要像我当初一样没人带自己随便找本书乱学，系统的有规律的学习，它的基础才是最扎实的，在我们这行，《基础不牢，地动山摇》尤其明显。

最后，如果有兴趣的小伙伴们可以酌情购买，为未来铺好道路！！！

在这里插入图片描述