Python入门爬虫2 使用Beautifulsoup爬取猫眼电影TOP100！

最新推荐文章于 2021-04-26 21:32:01 发布
最新推荐文章于 2021-04-26 21:32:01 发布
阅读量1.5k 收藏 11
点赞数 2
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43501509/article/details/89261809
版权

今天爬取的是猫眼电影top100的电影名，演员，上映时间，评分等信息

爬取网站链接：https://maoyan.com/board/4

主要分为以下3部分：
1.获取请求页面
2.获取电影信息
3.写入文件

我们使用的Beautifulsoup对网页进行解析，先来简单分析一下
按F12或右击对网页进行检查
榜单TOP1是张国荣哥哥的霸王别姬
在代码中发现有一个"dd"的标签，同时发现每个dd标签代表了一部电影！
我们可以选择lxml解析器和select函数直接定位到dd标签
代码如下

def getinfo(html):
    soup = BeautifulSoup(html,'lxml')   #使用lxml解释器
    items = soup.select('dd')           # 查询dd标签

在这里插入图片描述

接下来我们分析单个dd标签
在这个标签内我们可以直接在文本部分找到所需的数据
红框框里是我们要爬取的信息，紫色圆圈内是查找的属性
于是我们可以补充成以下的代码

最低0.47元/天 解锁文章
叫我小仙女嘛
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python爬虫实战：利用beautiful soup爬取猫眼电影TOP100榜单内容-1
myself029的博客
04-27 2992
最近学习完了崔大神的第一个爬虫案例：抓取猫眼电影排行  点击打开链接但是他是用正则表达式完成的。作为编程小白，实在脑力不够去理解那些眼花缭乱的正则表达式。于是直接利用后面学习的beautiful soup实战一回，同时个人增加了些实战直接把代码分享下面，soup使用的不是特别熟练，有待优化。后续再用 pyquery 练练手。顺便搞下数据存储实战。以后有空再分享我的实战操作心得。import req...
python爬虫实战：利用beautiful soup爬取猫眼电影TOP100榜单内容-2
myself029的博客
08-14 1589
最近学习了 html5 相关的网页标签的基础知识，这个对beautiful soup的应用理解有很多的帮助，于是重新整理了之前的代码。 有兴趣的可以参考。 import os import requests from bs4 import BeautifulSoup file_path = 'D:\python3.6\scrapy\maoyan' # 定义文件夹，方便后续check文件...
python网络爬虫--BeautifulSoup提取猫眼TOP100电影
weixin_30569033的博客
05-23 291
import requests from bs4 import BeautifulSoup import bs4 import re import json def getPage(url): try: headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x6...
BeautifulSoup4爬取猫眼电影前一百
ynztwlz的博客
11-07 1858
最开始学习python，是因为爬虫。最初学习小甲鱼的教学视频，后来在小甲鱼的论坛上发现了用bs4爬取豆瓣前一百，当时怎么也看不懂。后来系统的学习了一下爬虫。参考了崔大佬的爬虫之后，改编书上的例子（书上用正则法则），我这里用bs4，后文会附上正则法则解析网页。   系统流程： 1.观察页面构造--知道要提取多少页，url构造方式等 2.编写函数解析每一页--得到每一页需要的数据 3.数据清...
利用Python爬虫抓取猫眼电影排行（BeautifulSoup方式初试手，欢迎改进）
yangwenjie12的博客
07-13 1377
from bs4 import BeautifulSoup import requests import json import time from requests.exceptions import RequestException #获取响应内容 def get_html(url): try: headers = { 'User-Agent'...
Python爬虫实现使用beautifulSoup4爬取名言网功能案例
09-18
主要介绍了Python爬虫实现使用beautifulSoup4爬取名言网功能,结合实例形式分析了Python基于beautifulSoup4模块爬取名言网并存入MySQL数据库相关操作技巧,需要的朋友可以参考下
Python爬虫实例：爬取豆瓣电影TOP250
最新发布
04-28
在本实例中，我们将深入探讨如何使用Python编程语言来实现一个爬虫，目的是抓取豆瓣电影网站上的“豆瓣电影TOP250”列表中的数据。这个列表汇集了最受用户好评的250部电影，是电影爱好者的重要参考。通过学习这个...
Python爬虫入门案例-爬取电影数据.zip
01-23
在本教程中，我们将探索如何使用Python爬虫技术来获取电影数据，特别是在生活娱乐领域，这对于数据分析、电影推荐系统或个人兴趣来说都是很有价值的。Python作为一种强大的编程语言，因其简洁明了的语法和丰富的库...
使用BeautifulSoup爬取想要的标签（《python网络爬虫权威指南》笔记）
12-21
使用BeautifulSoup爬取想要的标签精确爬取标签BeautifulSoup中的find()和find_all()方法BeautifulSoup中的对象兄弟、子、父、后代标签的处理抓取子标签和其他后代标签抓取兄弟标签抓取父标签正则表达式正则表达式和...
爬虫实战（一）利用python爬取猫眼电影Top前100
步步心愿的博客
07-26 5401
  代码详解 1#爬虫库 2import requests 3#json数据格式库 4import json 5#requests异常 6from requests.exceptions import RequestException 7#正则表达式 8import re 9#延迟函数 10import time 11 12#定义一个读取一个url并返回相应信息的函数 13...
python，爬取猫眼电影top100电影信息
10-11
基于python3.x。用python爬取猫眼电影top100电影信息 并且以txt文本格式保存在本地
Requests+BeautifulSoup+正则表达式爬取猫眼电影Top100（名称，演员，评分，封面，上映时间，简介）...
weixin_30496431的博客
01-13 659
1 # encoding:utf-8 2 from requests.exceptions import RequestException 3 import requests 4 import re 5 import json 6 from multiprocessing import Pool 7 8 def get_one_page(url): 9...
利用Python爬虫抓取猫眼电影排行（初入坑~正则表达式方式）
yangwenjie12的博客
07-11 458
import requests import json import re import time from requests.exceptions import RequestException def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows ...
BeautifulSoup爬取豆瓣电影Top250
北山啦的博客
12-22 5233
任务要求： 爬取豆瓣电影Top250的电影名、评分、短评、评分人数等信息 通过博客对beautifulSoup4的简单介绍，现在开始实战啦，没有看过的，可以先看看 Python网络爬虫基础–BeautifulSoup 使用selenium定位获取标签对象并提取数据 利用selenium爬取数据总结 直接上代码 # -*- coding: utf-8 -*- """ Created on Mon Dec 22 12:03:06 2020 @author: kun """ import r.
python3 爬取猫眼榜单top100（requests+beautifulsoup）
qianhangkang的博客
01-04 973
初学python，记录学习过程。 爬取的url:http://maoyan.com/board/4 共十页，第二页的url：http://maoyan.com/board/4?offset=10 以此类推 源码如下： #猫眼电影TOP100 import requests from requests.exceptions import RequestException from bs4
Python爬虫学习（6）：案例练习--BeautifulSoup库爬取猫眼电影（深度爬取）
qq_41817925的博客
03-09 1125
一、分析 1、爬取网址：https://maoyan.com/films 2、爬取按“经典影片”、“按评价排序”筛选后的电影数据 3、滑动到页面底部，多点击几次不同页面发现url地址的规律 提取url为：https://maoyan.com/films?showType=3&sortId=3&offset=“0/30/60/…” 4、分析元素 先将所有的dd标签找到，得到一个存放所有dd标签的列表：filmList = bs.find_all(name=‘dd’) 再遍历dd标签列
一、 python爬虫初探（使用BeautifulSoup爬取豆瓣电影排行榜）
weixin_45286211的博客
09-03 2274
文章目录前言一、先爬取网页第一个影片信息1.代码如下：2.最终结果：二、爬取所有影片信息1.代码2.查看文件内容总结 前言 学习爬虫的第一次实践，在这里记录下 以 https://movie.douban.com/chart 网页数据为例 一、先爬取网页第一个影片信息 初次尝试，所以这里的代码比较繁琐、不够简洁，旨在理清各个环节 1.代码如下： import requests from bs4 import BeautifulSoup # 爬取地址 url = "https://movie.do
beautifulsoup爬虫应用之豆瓣电影top25爬取
mister1的博客
04-26 1213
BeautifulSoup爬虫应用之豆瓣电影TOP25爬取 BeautifulSoup介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 豆瓣电影 喜欢看电影的小伙伴一定都听说过豆瓣评分 那什么是豆瓣电影TOP250呢？ 下面给出该榜单的介绍：豆瓣用户每天都在对“看过”的电影进行“很差”到“力荐”的评价，豆瓣根据每部影片看过的人数以及
requests+BeautifulSoup爬取猫眼电影top100
a2639491403的博客
07-31 2491
首先测试一下网页是否有用 import requests,json from requests.exceptions import RequestException from bs4 import BeautifulSoup def get_one_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT...
python爬取猫眼电影top100 beautifulsoup
06-28
Python可以使用BeautifulSoup库来爬取猫眼电影的Top100电影。BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。它可以帮助我们轻松地解析HTML页面，从而提取所需的数据。我们可以使用Python的requests...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值