爬虫-基于urllib模块通过正则解析爬取猫眼电影

最新推荐文章于 2024-08-09 22:15:00 发布
最新推荐文章于 2024-08-09 22:15:00 发布
阅读量624 收藏 1
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luohuatingyu112/article/details/105281245
版权

首先确定目标
目标网站：猫眼电影
目标数据：电影名称，演员，上映日期
首先分析网页结构，打开猫眼电影
在这里插入图片描述
以猫眼top100的第二页为目标，爬取想要的数据，查看网页结构
在这里插入图片描述
找到目标字段对应的标签
电影名的标签 = title
演员的标签 = star
上映时间的标签 = releasetime
准备代码
在这里插入图片描述
前面都是固定的格式，要准备目标url地址 和headers信息
将整页数据爬取下来后，通过正则匹配来查找需要的字段
在这里插入图片描述
然后将匹配完成的字段保存在本地即可
在这里插入图片描述
查看结果如下，这里的数据还未进行处理，还好算是能完整匹配出来
在这里插入图片描述
在这里插入图片描述
这里值得注意的是爬虫还是以面向对象的方式更规范一点，更美观一点，待后续更改

进击的crawler
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实战：使用urllib.request爬取猫眼票房数据
leedean的博客
03-01 692
代码编写心路流程： 第一步：张飞式粗暴获取 from urllib import request url = "https://piaofang.maoyan.com/dashboard?date=2019-07-26" rq = request.urlopen(url) print(rq.read()) 问题：返回错误urllib.error.HTTPError: HTTP Error 40...
利用正则爬取猫眼电影
eval_request的博客
10-21 276
爬取猫眼电影 import json import requests from requests.exceptions import RequestException import re def get_one_page(url):#获取一个页面的信息 try: kv = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win6...
使用urllib爬取猫眼电影排行榜信息
07-06
使用urllib爬取猫眼电影排行榜信息，爬取10页的信息。
Python 爬虫项目实战六：抓取猫眼电影排行榜的数据
最新发布
weixin_42132035的博客
08-09 743
通过这个项目，我们学习了如何使用Python编写简单的网页爬虫，从猫眼电影排行榜抓取电影信息。在实际项目中，你可以根据需求扩展功能，例如加入数据存储、异常处理、反爬虫机制等。同时，务必遵守网站的使用规则和法律法规，爬取数据时要尊重网站的服务协议。
python urllib 爬取猫眼电影top100 存入mongoDB
qq_24137739的博客
11-27 396
import urllib.request import csv import re import pymongo class MaoyanSpider:     def __init__(self):         self.headers = {"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKi...
用 Python 爬了猫眼3000+《指环王》影评，看看20年前的魔幻电影鼻祖在当下影迷眼中的样子...
cainiao_python的博客
08-18 250
指环王三部曲，可以说是魔幻电影的开山鼻祖，二十年前的特效下，森林、大山、魔王、高塔，城堡等等都栩栩如生的呈现在我们眼前。虽然这次重映，票房不高，也因为电影时长等原因被各种诟病，但是还是不影...
爬虫简单入门实战项目：用正则表达式爬取猫眼电影排行
weixin_40822925的博客
07-05 686
  今天学习了《python3网络爬虫开发实战》的正则表达式部分，紧接着是一个爬虫小项目：爬取猫眼电影排行，看着没什么难度，就想自己来独立完成这个项目，部分参考了书上的代码。 项目目标 利用正则表达式抓取猫眼电影TOP100电影信息并保存。 用到的库 requests库、re库 初步分析 猫眼电影TOP100 的链接地址是https://maoyan.com/board/4，打开以后是这样的： 把它拉到最下方，是有分页的，点击第二页： 我们可以看到页面的URL变成了https://maoyan.com/
python爬虫-----网络数据分析_正则表达式，xpath库，BeautifulSoup库
weixin_44568633的博客
04-23 1345
文章目录python爬虫-----网络数据分析一、正则表达式1.为什么要学正则表达式2.什么是正则表达式3.re 模块一般使用步骤Pattern 对象正则表达式实现步骤4.正则split和sub5.常用的正则常量项目案例：基于requests和正则 的猫眼电影TOP100定向爬虫报错二、xpath库1.XPath如何实现文档解析?2.xpath用法项目案例：基于requerts和Xpath的猫眼电...
爬虫学习04-正则解析模块re
CL5221的博客
05-17 274
研究生自学python爬虫
使用Requests爬取猫眼电影
sl01224318的博客
05-04 1848
谈到爬虫大家可能对Requests库不会陌生，相比urllib库的话Requests库在处理网页认证和Cookies时更加方便，话不多少，下面让我通过爬取猫眼电影前100名排行榜实例来说明一下。 首先我们打开猫眼电影排行版链接‘https://maoyan.com/board/4’界面效果如图所示，可以看到排行榜第一名是张国荣主演的“霸王别姬”，还有电影评分。 ...
猫眼电影爬虫
03-15
获取猫眼电影排名，评分，热度，等等的相关数据，主要用的requests库
猫眼TOP100榜爬虫
04-20
这是爬取猫眼TOP100榜单信息的爬虫，自动化爬取，自动存储到本地。
爬取猫眼电影 python
03-22
猫眼爬虫源代码。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
猫眼电影爬虫ls_pachong.py
09-15
一个简单的猫眼电影信息爬虫代码！
猫眼电影 数据爬虫2018年11月份爬取的
03-15
这里只有sql文件。用的是神箭手爬虫，包括影人 影片 影片所有信息 包括影片和影人的关系 影片和影院的关系 包括所有城市的所有直辖市 包括所有城市的所有电影院 包括所有电影院的所有电影 包括每个电影每天电影的放映厅位置信息表 .数据库文件总共170M左右。如需要代码可以联系我。
【python教程入门学习】Python爬虫抓取猫眼电影排行榜
python_9988的博客
10-11 1978
本节使用 Python 爬虫抓取猫眼电影网 TOP100 排行榜（https://maoyan.com/board/4）影片信息，包括电影名称、上映时间、主演信息。 在开始编写程序之前，首先要确定页面类型（静态页面或动态页面），其次找出页面的 url 规律，最后通过分析网页元素结构来确定正则表达式，从而提取网页信息。 确定页面类型 点击右键查看页面源码，确定要抓取的数据是否存在于页面内。通过浏览得知要抓取的信息全部存在于源码内，因此该页面输属于静态页面。如下所示： <p class="n
python-猫眼电影爬虫
qq_42687283的博客
02-20 505
爬取猫眼电影TOP100(http://maoyan.com/board/4?offset=90) 1). 爬取内容: 电影名称，主演， 上映时间，图片url地址保存到mariadb数据库中; 2). 所有的图片保存到本地/mnt/maoyan/电影名.png import re from urllib.request import urlopen from urllib import requ...
Python爬虫基础：urllib模块全面解析与实例
通过学习和实践urllib模块，开发者能够实现基础的网络爬虫功能，并为进一步使用像requests这样的高级库打下坚实的基础。理解这些核心概念后，可以根据实际项目需求，灵活运用urllib的各个部分，实现高效、稳定的网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值