获取数据
使用助教提供的代码获取B站五个小分区的数据
存入数据库
使用批量插入的insert_many
方法,将json型数据批量插入MongoDB数据库
对比更新数据库
按照要求方法,对比更新数据库,使用insert_one
和update_one
等函数。
代码部分
"""
一个简单的🌰,主要关于协程网络爬虫与邮件发送
务必使用py3.6及以上版本运行此文件
代码包含的内容:
- 协程爬取bilibili生活区5个小分区的热榜
- 爬取完成后发送邮件通知
请勿在作业中直接使用本代码,因为其存在以下已知问题:
- 不保证对热榜爬取的顺序
- 对于视频描述和标题中存在\n的情况没有处理,这将导致结果数据文件无法直接使用
- 邮件为私人邮箱,且有发信限制(每日上限450封,每秒上限200封),邮箱会在2022-01-01关闭STMP发信许可,请及时更换自己邮箱。
- 其他未知问题
"""
"""
名称 代号 tid 简介 url路由
生活(主分区) life 160