#B站虚拟数字人主播数据爬取周报（一）

周报周期

2024年3月17日 - 2024年3月31日

项目目标

本周期的目标是掌握爬取B站虚拟数字人主播相关数据的核心技能，包括但不限于评论数据、观看数、粉丝变化等，特别是如何处理动态网页和适应不同网页结构的爬虫设计。

学习和实践内容

动态网页数据爬取

• 关键技术：学习使用selenium库处理JavaScript渲染的内容，以及requests搭配BeautifulSoup抓取静态内容。
• 应对策略：理解动态网页加载机制，通过网络请求分析工具（如Chrome DevTools）监视网络请求并模拟这些请求获取数据。

面对不同网页结构的爬虫方案

• 适应性设计：学习如何根据网页的结构和数据加载方式，选择适合的爬虫策略，比如API爬取、正则表达式提取数据、DOM解析等。
• 知识点覆盖：CSS选择器、XPath使用、正则表达式、API请求处理。

爬虫代码具体学习方案

• 理论学习：每天分配时间学习Python爬虫相关理论，包括网络请求处理、HTML/XML解析方法等。
• 实践操作：每周至少完成一个小型的爬虫项目，实践所学理论知识。
• 代码审查：学习如何通过代码审查改进爬虫的效率和稳定性，包括但不限于代码重构、异常处理、日志记录等。

预计完成进度

• B站虚拟数字人主播数据爬取：实现一个爬虫项目，爬取特定虚拟数字人主播的评论数据、视频观看数和粉丝数变化等信息。
• 数据存储与处理：掌握使用pandas进行数据清洗和预处理。

遇到的问题及解决方案

(本节留待实践过程中填写)

下一步计划

• 深入学习更高级的爬虫框架，如Scrapy，以提高爬虫项目的开发效率和管理便捷性。
• 探索更复杂的数据分析技术，如机器学习模型，以对爬取的数据进行深入分析。

备注：本周报旨在提供一个清晰的学习和实践路线图，帮助团队成员有效掌握爬取B站虚拟数字人主播数据所需的关键技能和知识。