用BeautifulSoup爬取猫眼榜单Top100电影

最新推荐文章于 2020-02-21 11:31:48 发布
最新推荐文章于 2020-02-21 11:31:48 发布
阅读量3k 收藏 27
点赞数 5
分类专栏： Python爬虫 文章标签： Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43822657/article/details/100012552
版权

用BeautifulSoup爬取猫眼榜单Top100电影

BeautifulSoup

最近再学习崔庆才的网络爬虫，之前看到用正则表达式爬取了猫眼Top100的电影，第一次爬取成功的时候还是蛮兴奋的。之后学习了BeautifulSoup，觉得可以试着用BeautifulSoup来编写爬取Top100的电影。这个程序编写参考了网上的BeautifulSoup崔庆才的正则表达式爬取编码。

准备工作

确保自己的电脑已经安装了所需要的库，例如requests、beautifulsoup等。

抓取分析

我们需要抓取的网站是：‘https://maoyan.com/board/4?offset=0’
打开网站后，看到的界面如下所示
在这里插入图片描述
按F12或右击对网页进行检查
在代码中发现有一个"dd"的标签，同时发现每个dd标签代表了一部电影！

我们需要的的也就是“dd“节点
在这里插入图片描述
我们可以使用以下代码直接定位到所需的节点部分：

    soup=BeautifulSoup(html,'lxml')
    items=soup.find_all(name='dd')

我们想要输出电影的排名、电影名、主演、上映时间、评分，这些信息在源代码的位置如下：

最低0.47元/天 解锁文章
加油、向上吧
关注
  • 5
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python爬虫实战：利用beautiful soup爬取猫眼电影TOP100榜单内容-2
myself029的博客
08-14 1589
最近学习了 html5 相关的网页标签的基础知识，这个对beautiful soup的应用理解有很多的帮助，于是重新整理了之前的代码。 有兴趣的可以参考。 import os import requests from bs4 import BeautifulSoup file_path = 'D:\python3.6\scrapy\maoyan' # 定义文件夹，方便后续check文件...
使用requests和BeautifulSoup爬取豆瓣电影top250信息
qq_43509940的博客
06-13 2854
第一次练习爬虫，爬取的是豆瓣电影top250的信息 ''' 豆瓣电影top250 https://movie.douban.com/top250 第二页https://movie.douban.com/top250?start=25 第三页https://movie.douban.com/top250?start=50 一共10页 ''' import requests from bs4 imp...
BeautifulSoup4爬取猫眼电影前一百
ynztwlz的博客
11-07 1858
最开始学习python，是因为爬虫。最初学习小甲鱼的教学视频，后来在小甲鱼的论坛上发现了用bs4爬取豆瓣前一百，当时怎么也看不懂。后来系统的学习了一下爬虫。参考了崔大佬的爬虫之后，改编书上的例子（书上用正则法则），我这里用bs4，后文会附上正则法则解析网页。   系统流程： 1.观察页面构造--知道要提取多少页，url构造方式等 2.编写函数解析每一页--得到每一页需要的数据 3.数据清...
BeautifulSoup爬取豆瓣电影top250信息
阿优乐扬的博客
07-13 9534
豆瓣是一个社区网站，创立于2005年3月6日。该网站以书影音起家，提供关于书籍，电影，音乐等作品信息，其描述和评论都是由用户提供的，是Web2.0网站中具有特色的一个网站。 网址：https://movie.douban.com/top250?start=0&filter= 我将基于豆瓣电影top250讲解BeautifulSoup技术的爬虫，获取排名前250名的影片信息，包括（网站名称、...
BeautifulSoup爬取豆瓣电影排名
肉夹馍的博客
01-18 2932
豆瓣电影排名网址：https://movie.douban.com/top250?start=0&filter= 在进去豆瓣电影排名后，打开浏览器的检查功能分析爬取页面源代码，在写请求代码之前，首先我们得找出网页的请求头部。 请求头部中的’User-Agent’，是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本，浏览器版本等信息。在做爬虫时加上该信息，可以伪装为浏览器，不加...
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
09-20
主要为大家详细介绍了Python使用Selenium+BeautifulSoup爬取淘宝搜索页，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比
10-17
主要给大家介绍了关于python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来...
使用BeautifulSoup爬取想要的标签（《python网络爬虫权威指南》笔记）
12-21
使用BeautifulSoup爬取想要的标签精确爬取标签BeautifulSoup中的find()和find_all()方法BeautifulSoup中的对象兄弟、子、父、后代标签的处理抓取子标签和其他后代标签抓取兄弟标签抓取父标签正则表达式正则表达式和...
使用urllib爬取猫眼电影排行榜信息
07-06
以上就是使用`urllib`爬取猫眼电影排行榜信息的基本流程。值得注意的是，实际的网页结构可能会有所不同，因此在解析HTML时需要根据实际情况调整。此外，爬虫的使用应遵循网站的robots.txt规则，尊重网站的版权，合理...
python爬虫实战：利用beautiful soup爬取猫眼电影TOP100榜单内容-1
myself029的博客
04-27 2992
最近学习完了崔大神的第一个爬虫案例：抓取猫眼电影排行  点击打开链接但是他是用正则表达式完成的。作为编程小白，实在脑力不够去理解那些眼花缭乱的正则表达式。于是直接利用后面学习的beautiful soup实战一回，同时个人增加了些实战直接把代码分享下面，soup使用的不是特别熟练，有待优化。后续再用 pyquery 练练手。顺便搞下数据存储实战。以后有空再分享我的实战操作心得。import req...
抓取猫眼电影top100的正则、bs4、pyquery、xpath实现方法
爱写Bug
04-06 655
import requests import re import json import time from bs4 import BeautifulSoup from pyquery import PyQuery as pq from lxml import etree # 获取页面源码 def get_one_page(url): try: headers = { ...
利用Python爬虫抓取猫眼电影排行（BeautifulSoup方式初试手，欢迎改进）
yangwenjie12的博客
07-13 1377
from bs4 import BeautifulSoup import requests import json import time from requests.exceptions import RequestException #获取响应内容 def get_html(url): try: headers = { 'User-Agent'...
python主流解析库(re beautifulsoup pyquery xpath)实战--爬取猫眼电影排行
wardseptember的博客
01-20 1107
目录一、环境依赖二、实现1. 目的2. 代码2.1 爬取函数2.2 re解析函数2.3 BeautifulSoup解析2.4 Xpath解析函数2.5 Pyquery解析函数2.6 写入TXT文件3. 完整版源码下载三、部分结果一览 一、环境依赖 python3 依赖库如下： pip install request pyquery beautifulsoup4 二、实现 1. 目的 此次爬取猫眼...
Python爬取猫眼电影top100数据
realmels的博客
02-21 1855
最近研究爬虫，自己写了几个小项目，爬取猫眼电影top100的数据就是其中之一 先去解析一下页面，发现一共有10页,随便切了两页，发现他的一个url组成大致是 https://maoyan.com/board/4?offset=页面*10 然后写一个函数用来获取页面url def get_pages_url_list(): pages_url_list = [] for i in...
利用正则表达式， xpath, Beautifulsoup来解析网页
qq_39431562的博客
08-18 1992
1 使用正则表达式的时候需要导入re模块，这个是python自带的模块，不用下载 1.1正则表达式有许多常用的规则 这里要注意贪婪匹配和非贪婪匹配以及反斜杠转义的问题 1.2 匹配网页的时候有时候要考虑到换行和大小写的问题 遇到匹配换行时要使用修饰符re.S,遇到忽略大小写时需要使用re.I 1.3 re.findall()方法，源码 def findall(pattern, ...
实战项目 — 使用bs4 爬取猫眼电影热榜（存入本地txt、以及存储数据库列表）...
07-12 793
案例一： 重点： 1. 使用bs4 爬取 2. 数据写入本地 txt from bs4 import BeautifulSoup from urllib import request url = "http://maoyan.com/board" rsq = request.urlopen(url) html = rsq.read().decode(...
爬取猫眼电影前100名（获取图片并记录名字跟排名）
肥宅Sean
06-14 2130
简述 代码实现上，这个可以说是不难的。但是需要注意的是，这里的有一些细节得注意一下。 协程的，gevent.joinall() 需要的是一个可以迭代的对象，但是内容必须是gevent.spawn()这个类 这里有些小东西，比如在network上得到的包的内的数据（也就是直接爬取得到的数据，其实不是完全的数据，会有一些对于源码的部分的修改）。这种修改导致一开始，如果是看着检查的话，就会有bug...
Python 分别使用正则表达式，BeautifulSoup-find_all，select，lxml爬取猫眼电影榜单之放映口碑榜TOP10
阿优乐扬的博客
08-08 2054
榜单规则： 将昨日国内热映的影片，按照评分从高到低排列取前10名，每天上午10点更新。相关数据来源于“猫眼专业版”及“猫眼电影库”。 网页地址： https://maoyan.com/board/7 获取的内容： 排名，片名，主演，上映时间，评分 1、分析网页 需要获取的内容全部在<dd> ...</dd>这个标签中，获取里面的全部内容即可 2、请求网页源码 导入req...
python爬取猫眼电影top100 beautifulsoup
最新发布
06-28
Python可以使用BeautifulSoup库来爬取猫眼电影的Top100电影。BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。它可以帮助我们轻松地解析HTML页面，从而提取所需的数据。我们可以使用Python的requests...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值