Python爬虫爬取豆瓣数据XPath的使用，书籍+视频+学习笔记+技能提升资源库

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

首先进行url分析：

第一页、第二页、第三页的url如下：

https://movie.douban.com/top250

https://movie.douban.com/top250?start=25&filter=

https://movie.douban.com/top250?start=50&filter=

其中，第一页也等价于

https://movie.douban.com/top250?start=0&filter=

页面分析：

这里一个

• 标签就代表一部电影。

且所有想要获取的目标数据都在

标签中。

1.导包

from lxml import etree

import requests

import csv

2.拿到目标url

doubanUrl = ‘https://movie.douban.com/top250?start={}&filter=’

3.获取网页源码

def getSource(url):

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36’}

response = requests.get(url, headers=headers)

response.encoding = ‘utf-8’

return response.text

4.解析数据

def getEveryItem(source):

html_element = etree.HTML(source)

class = ‘info’ 电影的名字，评分，引言，详情页的

movieItemList = html_element.xpath(“//div[@class=‘info’]”)

定义一个空列表，添加字典数据

movieList = []

for eachMovie in movieItemList:

定义一个字典保存每部电影的数据

movieDict = {}

标题

title = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘title’]/text()”)

副标题

otherTitle = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘other’]/text()”)

详情页url

star = eachMovie.xpath(“div[@class=‘bd’]/div[@class=‘star’]/span[@class=‘rating_num’]/text()”)[0]

link = eachMovie.xpath(‘div[@class=“hd”]/a/@href’)[0]

quote = eachMovie.xpath(“div[@class=‘bd’]/p[@class=‘quote’]/span/text()”)

非空判断

if quote:

quote = quote[0]

else:

quote = ‘’

保存数据，标题是主标题+副标题

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-L3VM2Q3x-1713179139759)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！