用Python帮女神爬取电影后，我终于不用做舔狗了_movielist

​ 3，拿到数据

​ 4，对数据根据需求进行处理

四.代码实战

​ 要求:爬取电影top250的电影名字，评分，引言，详情页并保存

#导入类库

import requests #网络请求库

import cvs #文件格式库

from lxml import etree #数据转换

1，确定数据地址

​ 注意:在获取这种分页页面时候，不要只看第一页的地址。点击第二页拿到完整地址

#导入类库

import requests #网络请求库

import csv #文件格式库

from lxml import etree #数据转换

#确定数据地址 将起始页用占位符,方便后面循环爬取各个页面

2，对数据地址发起访问请求并拿到数据

​ 定义一个函数，功能就是用来获取网页源码

#接收服务器返回过来的数据

response = requests.get(url,headers=headers)

# 防止出现乱码

response.encoding = ‘utf-8’

#返回网页源码文本

return response.text

3，对数据进行处理

​ 定义一个函数，用于数据解析处理

#从拿到的源码中解析出每部电影的数据

def getEveryMovie(source):

#将文本解析成html形式

html = etree.HTML(source)

#获取标题

title = eachMoive.xpath(‘div[@class=“hd”]/a/span[@class=“title”]/text()’) # 标题

# 获取电影的引言

quote = eachMoive.xpath(‘div[@class=“bd”]/p[@class=“quote”]/span/text()’)

#将字典加入列表

movieList.append(movieDict)

#返回列表

return movieList

​ 循环爬取每一页并写入本地csv文件

保存数据

def writeData(movieList)

#循环写入每一行

for each in movieList:

writer.writerow(each)

if __name__ == ‘__main__’:

#保存每一页的结果

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！