import requests
import csv
2.拿到目标url
doubanUrl = ‘https://movie.douban.com/top250?start={}&filter=’
3.获取网页源码
def getSource(url):
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36’}
response = requests.get(url, headers=headers)
response.encoding = ‘utf-8’
return response.text
4.解析数据
def getEveryItem(source):
html_element = etree.HTML(source)
class = ‘info’ 电影的名字,评分,引言,详情页的
movieItemList = html_element.xpath(“//div[@class=‘info’]”)
定义一个空列表,添加字典数据
movieList = []
for eachMovie in movieItemList:
定义一个字典保存每部电影的数据
movieDict = {}
标题
title = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘title’]/text()”)
副标题
otherTitle = eachMovie.xpath(“div[@class=‘hd’]/a/span[@class=‘other’]/text()”)
详情页url
star = eachMovie.xpath(“div[@class=‘bd’]/div[@class=‘star’]/span[@class=‘rating_num’]/text()”)[0]
link = eachMovie.xpath(‘div[@class=“hd”]/a/@href’)[0]
quote = eachMovie.xpath(“div[@class=‘bd’]/p[@class=‘quote’]/span/text()”)
非空判断
if quote:
quote = quote[0]
else:
quote = ‘’
保存数据,标题是主标题+副标题
movieDict[‘title’] = ‘’.join(title+otherTitle)
movieDict[‘url’] = link
movieDict[‘star’] = star
movieDict[‘quote’] = quote
#print(movieDict)
movieList.append(movieDict)
return movieList
5.保存数据
def writeData(movieList):
with open(‘douban.csv’, ‘w’, encoding=‘utf-8’ , newline=‘’) as f:
writer = csv.DictWriter(f, fieldnames=[‘title’, ‘star’, ‘quote’, ‘url’])
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频**
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
[外链图片转存中…(img-B6fLdEhU-1711066939893)]