本帖最后由 莫失莫忘angle 于 2020-9-29 16:44 编辑
以前写到csdn了 话说直接复制没有格式 那就重新在写一遍
首先需要安装好爬虫需要用到的python库 开发工具使用的是pycharm
1:request 网络请求模块
2:lxml 取数据的模块 这里用的是xpath 没有用bs4
3.xlwings 对Excel进行读写的模块
如果安装失败 或者安装缓慢 可以参考之前的博客 将pycharm镜像更换为清华大学镜像
一键直达http://suo.im/63Iz1K首先需要知道豆瓣电影的url是这样的
第二页:https://movie.douban.com/top250?start=25&filter=
第三页:https://movie.douban.com/top250?start=50&filter=
第四页:https://movie.douban.com/top250?start=75&filter=
也就是说每一页有25条数据 get请求的start参数就是起始的数据 结束的数据就是 25 50 75等等那么只需要在get请求中从0开始每次加25即可
因为是top250 所以加到225就不加了首先需要写好start参数变化的值 请求url封装成requesUrl方法
[Python] 纯文本查看 复制代码if __name__ == "__main__":
start = 0
while start <= 225:
requestUrl(start)
start = start + 25
接下来封装requestUrl函数
[Python] 纯文本查看 复制代码def requestUrl(start):
url = "https://movie.douban.com/top250"
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
params = {
"start": start,
"filter": ""
}
response = requests.get(url=url, params=params, headers=header).text
terr = etree.HTML(response)
terr_lis = terr.xpath('//ol[@class="grid_view"]/li')
for i in terr_lis:
video_name = i.xpath('./div/div/div/a/span/text()')[0]
video_score = i.xpath('./div/div/div/div/span[2]/text()')[0]
video_evaluate = i.xpath('./div/div/div/div/span[4]/text()')[0]
# print(text + ' 评分:' + number + "\n")
这里教大家一个小技巧
20200919165343144.png (161.77 KB, 下载次数: 0)
2020-9-29 14:17 上传
这里可以直接copy出来xpath的路径 不用一个一个的写 很方便的
其中 video_name是电影名称 video_score是电影评分 video_evaluate电影的评论人数
到这里已经拿到了我们想要的数据
下面就是使用xlwings 导出数据
[Python] 纯文本查看 复制代码wb = xlwings.Book("e:\example.xlsx")
sht = wb.sheets["sheet1"]
sht.range('A1').value = "xlwiassssssssssssssssngs"
这是最基本的用法 首先打开文件 然后获取工作表
A1对应的是网格的位置 value就是需要写入的值 那么我们就知道A是固定的 1是动态的 所以只需要动态改变A后边的数据即可
完整代码如下
[Python] 纯文本查看 复制代码import requests
from lxml import etree
import xlwings
video_name_colunm = 0
video_score_colunm = 0
video_evaluate_colunm = 0
def requestUrl(start):
global video_name_colunm
global video_score_colunm
global video_evaluate_colunm
url = "https://movie.douban.com/top250"
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
params = {
"start": start,
"filter": ""
}
response = requests.get(url=url, params=params, headers=header).text
terr = etree.HTML(response)
terr_lis = terr.xpath('//ol[@class="grid_view"]/li')
for i in terr_lis:
video_name = i.xpath('./div/div/div/a/span/text()')[0]
video_score = i.xpath('./div/div/div/div/span[2]/text()')[0]
video_evaluate = i.xpath('./div/div/div/div/span[4]/text()')[0]
# print(text + ' 评分:' + number + "\n")
video_name_colunm = video_name_colunm + 1
video_name_xls = "A" + str(video_name_colunm)
sht.range(video_name_xls).value = video_name
video_score_colunm = video_score_colunm + 1
video_score_xls = "B" + str(video_score_colunm)
sht.range(video_score_xls).value = video_score
video_evaluate_colunm = video_evaluate_colunm + 1
video_evaluate_xls = "C" + str(video_evaluate_colunm)
sht.range(video_evaluate_xls).value = video_evaluate
sht.range(video_evaluate_xls).columns.autofit()
print("正在写入----" + video_name)
if __name__ == "__main__":
wb = xlwings.Book("e:\example.xlsx")
sht = wb.sheets["sheet1"]
start = 0
while start <= 225:
requestUrl(start)
start = start + 25
这里新建了3个全局变量 并且初始化为0 每次+1 好了 这下结果就出来了
e:\example.xlsx 这里必须要在E盘根目录下创建这个文件 可以自行修改
20200919171545361.png (49.15 KB, 下载次数: 0)
2020-9-29 14:17 上传
20200919171604177.png (51.83 KB, 下载次数: 0)
2020-9-29 14:17 上传
基本思路就是这样 想要导出什么数据 可以自己尝试