Jupyter notebook爬取猫眼top100电影信息(Xpath)

这篇博客介绍了如何利用Jupyter Notebook和XPath技术,从猫眼网站上抓取并存储电影Top100的相关信息。通过发送HTTP请求,解析网页内容,最终将数据导出到CSV文件,避免了信息覆盖的问题。
摘要由CSDN通过智能技术生成

Jupyter notebook 简介

基于网页交互式运算的应用程序,可以在网页上编写和执行代码。本文将使用Xpath方法获取信息。

代码

导入request包,对网页发出请求、获取响应
导入request包,对网页发出请求、获取响应
导入etree函数
导入etree函数
第一个页面中只包含10部电影信息
第一个页面中只能捕获10部电影息
根据网页的地址信息,利用for循环遍历全部网页
根据网页的地址信息,利用for循环遍历全部网页
导入csv,将数据存储在本地的csv类型文件中
导入csv,将数据存储在本地的csv类型文件中
将以上代码整合

import requests
from lxml import etree
import csv
##创建列表存储数据
mov_list=[]

##构造翻页url
for i in range(10):
    url="https://www.maoyan.com/board/4?offset="+str(i*
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值