Python爬虫爬取豆瓣数据XPath的使用，又到一年金三银四

import requests

import csv

2.拿到目标url

doubanUrl = ‘https://movie.douban.com/top250?start={}&filter=’

3.获取网页源码

def getSource(url):

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36’}

response = requests.get(url, headers=headers)

response.encoding = ‘utf-8’

return response.text

4.解析数据

def getEveryItem(source):

html_element = etree.HTML(source)

class = ‘info’ 电影的名字，评分，引言，详情页的

movieItemList = html_element.xpath(“//div[@class=‘info’]”)

定义一个空列表，添加字典数据

movieList = []

for eachMovie in movieItemList:

定义一个字典保存每部电影的数据

movieDict = {}

标题

title = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘title’]/text()”)

副标题

otherTitle = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘other’]/text()”)

详情页url

star = eachMovie.xpath(“div[@class=‘bd’]/div[@class=‘star’]/span[@class=‘rating_num’]/text()”)[0]

link = eachMovie.xpath(‘div[@class=“hd”]/a/@href’)[0]

quote = eachMovie.xpath(“div[@class=‘bd’]/p[@class=‘quote’]/span/text()”)

非空判断

if quote:

quote = quote[0]

else:

quote = ‘’

保存数据，标题是主标题+副标题

movieDict[‘title’] = ‘’.join(title+otherTitle)

movieDict[‘url’] = link

movieDict[‘star’] = star

movieDict[‘quote’] = quote

#print(movieDict)

movieList.append(movieDict)

return movieList

5.保存数据

def writeData(movieList):

with open(‘douban.csv’, ‘w’, encoding=‘utf-8’ , newline=‘’) as f:

writer = csv.DictWriter(f, fieldnames=[‘title’, ‘star’, ‘quote’, ‘url’])

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频**

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-B6fLdEhU-1711066939893)]