3,拿到数据
4,对数据根据需求进行处理
四.代码实战
要求:爬取电影top250的电影名字,评分,引言,详情页并保存
#导入类库
import requests #网络请求库
import cvs #文件格式库
from lxml import etree #数据转换
1,确定数据地址
注意:在获取这种分页页面时候,不要只看第一页的地址。点击第二页拿到完整地址
#导入类库
import requests #网络请求库
import csv #文件格式库
from lxml import etree #数据转换
#确定数据地址 将起始页用占位符,方便后面循环爬取各个页面
2,对数据地址发起访问请求并拿到数据
定义一个函数,功能就是用来获取网页源码
#接收服务器返回过来的数据
response = requests.get(url,headers=headers)
# 防止出现乱码
response.encoding = ‘utf-8’
#返回网页源码文本
return response.text
3,对数据进行处理
定义一个函数,用于数据解析处理
#从拿到的源码中解析出每部电影的数据
def getEveryMovie(source):
#将文本解析成html形式
html = etree.HTML(source)
#获取标题
title = eachMoive.xpath(‘div[@class=“hd”]/a/span[@class=“title”]/text()’) # 标题
# 获取电影的引言
quote = eachMoive.xpath(‘div[@class=“bd”]/p[@class=“quote”]/span/text()’)
#将字典加入列表
movieList.append(movieDict)
#返回列表
return movieList
循环爬取每一页并写入本地csv文件
保存数据
def writeData(movieList)
#循环写入每一行
for each in movieList:
writer.writerow(each)
if __name__ == ‘__main__’:
#保存每一页的结果
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!