python 热度榜并存储到MongoDB数据库

在这里插入图片描述

获取数据

使用助教提供的代码获取B站五个小分区的数据

存入数据库

使用批量插入的insert_many方法,将json型数据批量插入MongoDB数据库

对比更新数据库

按照要求方法,对比更新数据库,使用insert_oneupdate_one等函数。

代码部分
"""
一个简单的🌰,主要关于协程网络爬虫与邮件发送
务必使用py3.6及以上版本运行此文件

代码包含的内容:
- 协程爬取bilibili生活区5个小分区的热榜
- 爬取完成后发送邮件通知

请勿在作业中直接使用本代码,因为其存在以下已知问题:
- 不保证对热榜爬取的顺序
- 对于视频描述和标题中存在\n的情况没有处理,这将导致结果数据文件无法直接使用
- 邮件为私人邮箱,且有发信限制(每日上限450封,每秒上限200封),邮箱会在2022-01-01关闭STMP发信许可,请及时更换自己邮箱。
- 其他未知问题
"&
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值