爬取央视热榜并存储到MongoDB

于 2024-08-21 17:35:25 发布
阅读量335 收藏 2
点赞数 14
文章标签： mongodb 数据库 python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74252611/article/details/141398293
版权

1. 环境准备

在开始之前，确保你已经安装了以下Python库：

pip install requests pymongo

2. 爬取网页内容

首先，我们需要爬取央视热榜的网页内容。通过requests.get()方法，我们可以获取网页的HTML内容，并通过re.findall()方法来提取我们感兴趣的部分。

import requests
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (HTML, like Gecko) Chrome/127.0.0.0 Safari/537.36"
}
url = 'https://tv.cctv.com/top/index.shtml?spm=C28340.PdNvWY0LYxCP.EtmP5mypaGE4.11'
res = requests.get(url, headers=headers)
con = res.content.decode("utf8")

在这一步中，我们访问了央视的热榜页面，并将网页内容解码为UTF-8格式。

3. 解析数据

我们使用正则表达式来提取每个榜单的具体内容。通过re.findall()方法，我们可以从HTML中提取出特定的榜单数据。

datas = re.findall(r'<ul>.*?</ul>', con, re.S)

4. 解析每个榜单的数据

我们将热榜分为几个类别，如热播榜、动画片、电视剧、纪录片和特别节目。分别对每个类别的数据进行解析：

result = {
    "热播榜": {"name": "热播榜", "items": []},
    "动画片": {"name": "动画片", "items": []},
    "电视剧": {"name": "电视剧", "items": []},
    "纪录片": {"name": "纪录片", "items": []},
    "特别节目": {"name": "特别节目", "items": []}
}

# 热播榜
items = re.findall(
    r'<li.*?lazy="(.*?)".*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<div class="column"><i class="icon_l"></i><a href=".*?" target="_blank">(.*?)</a>'
    r'<i class="icon_r"></i></div>.*?</li>',
    datas[1], re.S)
for item in items:
    result["热播榜"]["items"].append({
        "img": item[0],
        "title": item[1],
        "category": item[2]
    })

# 动画片
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number"><i class="icon_l">'
    r'</i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text">'
    r'<a href=".*?" target="_blank">(.*?)</a></div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>'
    , datas[2], re.S
)
for item in items:
    result["动画片"]["items"].append({
        "img": item[0],
        "title": item[2],
        "category": item[1],
        "synopsis": item[3]
    })

# 电视剧
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>',
    datas[3], re.S
)
for item in items:
    result["电视剧"]["items"].append({
        "img": item[0],
        "title": item[2],
        "episode": item[1],
        "synopsis": item[3]
    })

# 纪录片
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i>'
    r'</span>.*?</div>.*?<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text">'
    r'<a href=".*?" target="_blank">(.*?)</a></div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>',
    datas[4], re.S
)
for item in items:
    result["纪录片"]["items"].append({
        "img": item[0],
        "title": item[2],
        "category": item[1],
        "synopsis": item[3]
    })

# 特别节目
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>',
    datas[5], re.S
)
for item in items:
    result["特别节目"]["items"].append({
        "img": item[0],
        "title": item[2],
        "tv": item[1],
        "synopsis": item[3]
    })

在这段代码中，我们通过正则表达式分别提取了每个榜单的数据。每个榜单的数据结构可能略有不同，因此我们为每个榜单编写了相应的解析规则。

数据字段说明：
  • img: 每个节目对应的封面图片链接。
  • title: 节目的标题。
  • category: 节目的种类（如：动画片、电视剧等）。
  • episode: 电视剧的集数（仅电视剧榜单有此字段）。
  • synopsis: 节目的简要介绍。
  • tv: 电视台信息（仅特别节目榜单有此字段）。

5. 存储数据到MongoDB

解析完成后，我们将获取的数据存储到MongoDB中。首先，我们需要连接到MongoDB，然后将解析结果插入到相应的集合中。

import pymongo

client = pymongo.MongoClient()
db = client.get_default_database("cctv")
collection = db.get_collection("top")
collection.insert_one(result)
client.close()

上述代码连接到本地的MongoDB实例，并将数据插入到名为cctv的数据库中的top集合中。最后，关闭数据库连接。

6. 总结

通过以上步骤，我们成功地爬取了央视热榜的数据，并将其存储到MongoDB中。这种方法可以用来定期更新数据，构建自己的数据分析系统，或者为其他应用提供数据支持。

代码：
import re

import pymongo
import requests

headers = {
    # 请求工具标识
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (HTML, like Gecko) "
                  "Chrome/127.0.0.0 Safari/537.36"
}
url = 'https://tv.cctv.com/top/index.shtml?spm=C28340.PdNvWY0LYxCP.EtmP5mypaGE4.11'
res = requests.get(url, headers=headers)
con = res.content.decode("utf8")
datas = re.findall(r'<ul>.*?</ul>', con, re.S)
result = {
    "热播榜": {
        "name": "热播榜",
        "items": []
    },
    "动画片": {
        "name": "动画片",
        "items": []
    },
    "电视剧": {
        "name": "电视剧",
        "items": []
    },
    "纪录片": {
        "name": "纪录片",
        "items": []
    },
    "特别节目": {
        "name": "特别节目",
        "items": []
    }
}
# print(datas[1])
items = re.findall(
    r'<li.*?lazy="(.*?)".*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<div class="column"><i class="icon_l"></i><a href=".*?" target="_blank">(.*?)</a>'
    r'<i class="icon_r"></i></div>.*?</li>',
    datas[1], re.S)
for item in items:
    # print(item)
    result["热播榜"]["items"].append({
        "img": item[0],
        "title": item[1],
        "category": item[2]
    })
    # pass
# print(datas[2])
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number"><i class="icon_l">'
    r'</i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text">'
    r'<a href=".*?" target="_blank">(.*?)</a></div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>'
    , datas[2], re.S
)
for item in items:
    # print(item)
    result["动画片"]["items"].append({
        "img": item[0],
        "title": item[2],
        "category": item[1],
        "synopsis": item[3]
    })
    # pass
# print(datas[3])
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>'
    , datas[3], re.S
)
for item in items:
    # print(item)
    result["电视剧"]["items"].append({
        "img": item[0],
        "title": item[2],
        "episode": item[1],
        "synopsis": item[3]
    })
    # pass
# print(datas[4])
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i>'
    r'</span>.*?</div>.*?<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text">'
    r'<a href=".*?" target="_blank">(.*?)</a></div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>'
    , datas[4], re.S
)
for item in items:
    # print(item)
    result["纪录片"]["items"].append({
        "img": item[0],
        "title": item[2],
        "category": item[1],
        "synopsis": item[3]
    })
    # pass
# print(datas[5])
items = re.findall(
    r'<li.*?lazy="(.*?)" width="188" height="250"></a>.*?<span class="number">'
    r'<i class="icon_l"></i><i class="txt">(.*?)</i><i class="icon_r"></i></span>.*?</div>.*?'
    r'<a class="cover" href=".*?" target="_blank">.*?</a>.*?<div class="text"><a href=".*?" target="_blank">(.*?)</a>'
    r'</div>.*?<p><a href=".*?" target="_blank">(.*?)</a></p>.*?</li>'
    , datas[5], re.S
)
for item in items:
    # print(item)
    result["特别节目"]["items"].append({
        "img": item[0],
        "title": item[2],
        "tv": item[1],
        "synopsis": item[3]
    })
    # pass
# print(result)
client = pymongo.MongoClient()
db = client.get_default_database("cctv")
collection = db.get_collection("top")
collection.insert_one(result)
client.close()
爬取数据：

7. 提示

  • 在实际应用中，如果需要处理大量数据或频繁请求网页，建议添加异常处理和请求延时，以避免对服务器造成过大压力。
  • 如果网页结构发生变化，正则表达式可能需要相应调整。
  • 遵守 robots.txt：在爬取任何网站之前，检查其 robots.txt 文件，确保你的爬虫行为符合网站的爬虫协议。

希望这篇博客对你有所帮助，祝你在数据爬取和存储的学习过程中取得进展！

稿子不爱
关注
  • 14
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中
01-20
爬取TOP500的音乐信息，包括排名情况、歌曲名、歌曲时间。 网页版酷狗不能手动翻页进行下一步的浏览，仔细观察第一页的URL： http://www.kugou.com/yy/rank/home/1-8888.html 这里尝试将1改为2，再进行浏览，恰好是...
爬取链家二手房房价数据存入mongodb并进行分析
06-23
在本项目中，我们将探讨如何使用Python爬虫技术获取链家网站上的二手房房价数据，并将这些数据存储到MongoDB数据库中，以便后续进行数据分析。首先，让我们逐一了解涉及的关键知识点。 1. **Python爬虫**：Python是...
Python爬取数据并存入MongoDB
12-21
最近和朋友一起开发APP，需要大量数据，而”互联网”与”共享”融合发展的理念，遂资源的可重用给予了当代骚客文人获得感与幸福感…好了，...在整个DOM树中，能够快速定位到理想位置节点，并获取相应的内容； 自动将输
tech163newsSpider:爬取网易新闻，存储到本地的mongodb
07-02
爬取网易新闻，存储到本地的mongodb ##依赖服务 1.MongoDB ##依赖包 pip install scrapy pip install pybloom pip install pymongo ##运行 进入tech163目录 执行scrapy crawl news ##详细分析 参见
在python开发环境下爬虫爬取手机App数据实战并存入MongoDB.zip
06-27
在python开发环境下爬虫爬取手机App数据实战并存入MongoDB.zip
MongoDB & Redis 快速上手：NoSQL数据库操作精要
玦尘的博客
08-17 973
☘️随着大数据时代的到来，非关系型数据库因其灵活性和扩展性逐渐受到开发者的青睐。 和 作为两种非常流行的 数据库，各自拥有独特的特性和应用场景。 是一款的数据库，适用于需要存储复杂数据结构的应用；而 则以其卓越的速度和内存存储能力著称，非常适合和。✍️本文旨在为初学者提供一份简洁明了的手册，帮助大家快速掌握 和 的基本语法及常用操作。通过本指南的学习，读者将能够迅速上手这两种数据库，为实际项目开发奠定坚实的基础。🤲本文内容均基于撰写，并附带了相应的 SQL 语法链接。我希望在为大家提供正确语法规
MongoDB如何实现大于小于查询
Dxy1239310216的博客
08-20 494
通过以上步骤，我们可以实现在MongoDB中进行大于小于查询的功能。首先，连接到MongoDB数据库；然后，选择要查询的集合；接着，构建查询条件；执行查询操作；最后，处理查询结果。MongoDB的查询语法灵活且功能强大，能够满足各种复杂的查询需求。希望本文能帮助你更好地理解和使用MongoDB的查询功能。
MongoDB 插入文档
wjs2024的博客
08-17 419
在 MongoDB 中插入文档是一项基本操作，可以通过和方法轻松完成。这些方法提供了灵活的数据插入方式，使得 MongoDB 成为一个强大的数据存储解决方案。
利用MongoDB进行数据治理，防范构建生成式AI应用程序时的潜在安全风险
MongoDBChina的博客
08-20 571
数据安全和数据准确性是开发AI应用时的两大痛点，利用MongoDB灵活的文档数据模型和开发者原生查询API，简化数据库部署和管理，构建弹性应用程序，为组织数据提供嵌入式安全控制能力。
MongoDB基础
m0_63016075的博客
08-13 1109
MongoDB基础
MongoDB快速入门CRUD
weixin_53132064的博客
08-20 302
MongoDB 的基本操作，分为几个类别，包括数据库和集合的管理、文档的插入、更新、查询和删除。每个操作都会附上相应的解释和示例。
已解决：java.lang.ClassNotFoundException: com.mongodb.test.test 异常的正确解决方法，亲测有效！！！
星辰探码的博客
08-20 429
通常是由于类路径配置错误、依赖缺失或包名拼写错误引起的。通过添加正确的依赖库、验证类路径和包名拼写，以及重新编译项目，可以有效解决此异常。与社区和团队成员交流有助于快速解决问题，并在项目中积累宝贵的经验。
python学习之mongodb 增删改查使用案例
最新发布
做一位与众不同的吗喽
08-20 108
这个库，它是一个Python的MongoDB客户端库，提供了丰富的接口来与MongoDB数据库进行交互。下面是一个基本的步骤介绍，如何在Python中使用。在Python中使用MongoDB，通常会借助。来连接MongoDB数据库并进行一些基本操作。
MongoDB实现limit功能
Dxy1239310216的博客
08-19 326
limit方法是MongoDB中一个非常有用的功能，它可以限制查询结果的数量，帮助我们有效地控制返回给客户端的数据量。无论是在MongoDB Shell中还是通过编程语言，limit方法都提供了简单而直接的方式来实现这一功能。此外，通过结合使用skip方法，我们还可以实现分页查询，进一步提升应用程序的性能和用户体验。
MongoDB 在 Java 中的使用教程
boydoy1987的专栏
08-16 1142
MongoDB 是一个基于分布式文件存储的 NoSQL 数据库系统。它以文档（JSON 形式）存储数据，具有高扩展性和灵活的数据模型，非常适合处理海量数据和高并发的场景。相对于传统的关系型数据库，MongoDB 的特点是无需预定义数据结构，支持灵活的文档结构。
【达梦数据库】-导入导出过程中get DDL复现过程
weixin_47686079的博客
08-20 181
在处理问题的过程中，客户反馈在达梦数据库中导入导出分区表，get 表的DDL，不会出现表的所有分区信息，ORACLE数据库却会出现所有分区表，事实真的如此吗？
分布式事务：基本概念
玉汝于成
08-20 196
事务可以看做事一次大的活动，它由不同的小的活动组成，这些活动要么全部成功，要么全部失败。
linux安装达梦数据库
HAN_789的博客
08-19 197
如果无法创建dmdba 文件夹，需要进入root用户下 在管理员用户下，这种安装方式一般只用于验证，开发，测试，生产最好还是安装传统的方式安装。在 home/dmdba/dmdbms/bin 目录下执行。（1）将文件上传到 /home/dmdba/ 目录下。（2）加压：tar -xzvf dmdb.tar.gz。进入到root就可以创建dmdba 文件夹了。1、后台启动，一般建议用后台启动。
网上商品订单转手系统bootpf
weixin_43213064的博客
08-18 485
【代码】springboot网上商品订单转手系统bootpf
爬取考研相关数据并存储到mongodb和csv中
06-13
好的，您想了解如何爬取考研相关数据并存储到 MongoDB 和 CSV 中，对吗？我可以为您提供一些帮助。首先，您需要确定要爬取哪些网站和数据，可以使用 Python 的 requests 和 BeautifulSoup 库来访问和解析网页。然后，您需要将数据存储到 MongoDB 和 CSV 中。 以下是一个简单的示例代码，演示如何爬取某个考研网站上的数据，并将其存储到 MongoDB 和 CSV 中： ```python import requests from bs4 import BeautifulSoup import csv from pymongo import MongoClient # 设置 MongoDB 连接信息 client = MongoClient('localhost', 27017) db = client['kaoyan'] collection = db['data'] # 设置 CSV 文件名和表头 csv_file = 'kaoyan.csv' csv_header = ['title', 'url', 'content'] # 访问考研网站并解析数据 response = requests.get('http://www.kaoyan.com/') soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', {'class': 'item'}) # 将数据存储到 MongoDB 和 CSV 中 for item in items: title = item.find('h2').text.strip() url = item.find('a')['href'] content = item.find('p').text.strip() data = {'title': title, 'url': url, 'content': content} collection.insert_one(data) with open(csv_file, 'a', newline='', encoding='utf-8') as f: writer = csv.DictWriter(f, fieldnames=csv_header) writer.writerow(data) ``` 请注意，这只是一个简单的示例，实际情况可能会更加复杂。您需要根据具体需求进行修改和完善。同时，为了保护您的隐私，我不会记录您的任何要求或输入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值