今天爬取的是猫眼电影top100的电影名,演员,上映时间,评分等信息
爬取网站链接:https://maoyan.com/board/4
主要分为以下3部分:
1.获取请求页面
2.获取电影信息
3.写入文件
我们使用的Beautifulsoup对网页进行解析,先来简单分析一下
按F12或右击对网页进行检查
榜单TOP1是张国荣哥哥的霸王别姬
在代码中发现有一个"dd"的标签,同时发现每个dd标签代表了一部电影!
我们可以选择lxml解析器和select函数直接定位到dd标签
代码如下
def getinfo(html):
soup = BeautifulSoup(html,'lxml') #使用lxml解释器
items = soup.select('dd') # 查询dd标签
接下来我们分析单个dd标签
在这个标签内我们可以直接在文本部分找到所需的数据
红框框里是我们要爬取的信息,紫色圆圈内是查找的属性
于是我们可以补充成以下的代码
def getinfo(html):
soup = BeautifulSoup(html,'lxml') #使用lxml解释器
items = soup.select(