爬取研招网，考研动态！一手情报，你考研过了吗？

最新推荐文章于 2024-04-07 18:13:52 发布

pythonlaodi

最新推荐文章于 2024-04-07 18:13:52 发布

阅读量313

点赞数

分类专栏：爬虫文章标签： python java html csv oauth

本文链接：https://blog.csdn.net/pythonlaodi/article/details/109546989

版权

该博客介绍了如何爬取研招网的考研动态信息，包括获取所有文章链接，使用XPath和BeautifulSoup解析文章详情，并将结果保存至CSV文件。博主强调仅供学习交流，禁止非法使用。

摘要由CSDN通过智能技术生成

爬取目标:

爬取研招网-考研动态所有的文章的的的的的

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

郑重声明：本项目及所有相关文章，仅用于经验技术交流，禁止将相关技术应用到不正当途径，因为滥用技术产生的风险与本人无关。

我是分割线....

import csv
import time
import requests
from bs4 import BeautifulSoup
1234

既然我们要爬取所有的文章,那就要先把所有文章的链接爬下来吧,然后再依次请求解析.
这里爬取链接用的是xpath,毕竟bs4的强项还是在处理文本上,下面获取具体内容全部用的bs4
这里就是为了获取尾部url 即tail_url, 后面会用到,我们把所有的tail_url 放入到一个列表,后面会用到 (tail_url 是个人定义的一个变量,不是什么内置的东西…)

# 获取所有子路由,并保存到一个列表中
# 并未使用bs4解析器
Url_page_num = 0  
tail_urls = [] 
for i in range(

关注