山东大学软件学院创新实训VCR系统个人博客（2）

本博客为山东大学软件学院2024创新实训，25组可视化课程知识问答系统（VCR）的个人博客，记载个人任务进展

制定针对百度百科的爬虫策略时，需要考虑的是网站的结构、反爬虫机制以及数据提取的需求等。

爬虫策略制定 

1. 分析目标页面：                                                                                                                        在开始编写爬虫之前，首先打开百度百科词条，仔细观察百度百科词条结构。确定哪些元素是想要提取的数据，比如词条的标题、正文内容、图片链接等。通过观察HTML结构，我们可以确定这些元素在DOM树中的位置以及它们对应的标签和属性。
2. 分析请求与响应：                                                                                                                  接下来，使用浏览器的开发者工具来查看页面加载时的网络请求。通过分析请求头和响应体，可以了解到页面内容是如何从服务器获取的。这有助于确定应该向哪个URL发送请求，以及请求时应该携带哪些参数。此外，还需要注意服务器的反爬虫机制，比如请求频率限制、验证码验证等。
3. 处理反爬虫机制：                                                                                                                  通过检索材料，百度百科可能采用了ip限制与封禁，user_agent检测，验证码等多种反爬虫机制。针对这些机制，需要制定相应的对策。例如，服务器检查请求头中的User-Agent字段来判断是否为浏览器请求，可以在请求头中设置合理的User-Agent字段来模拟浏览器请求。如果服务器设置了请求频率限制，可以通过设置合理的请求间隔来避免触发限制。如果服务器使用了验证码验证，可能需要考虑使用验证码识别技术来绕过验证。
4. 设计爬虫逻辑：
   • 确定爬虫的入口URL，百度百科的词条页面通常遵循一定的URL结构。例如，一个典型的词条页面URL可能是这样的形式：https://baike.baidu.com/item/词条名称。我们要爬取的是有关计算机网络相关的数据
   • 设计爬虫的遍历逻辑，根据词条内部的链接进行深度爬取。
   • 设计数据提取逻辑，在遍历过程中，我们需要使用HTML解析库从响应体中提取所需数据，并将其保存到本地文件或数据库中。
5. 测试与优化：
   • 在本地环境中编写并测试爬虫代码。
   • 根据测试结果，对爬虫代码进行优化，提高爬取效率和稳定性。

测试代码

编写一个测试代码，用于从百度百科的词条页面中提取标题和正文内容。