本文介绍了如何使用Python的BeautifulSoup和urllib库抓取网页内容，特别是凤凰军事滚动新闻的正文。首先，提取新闻链接，通过分析网页源码定位超链接，并循环获取“下一页”或“前一天”的链接。遇到编码问题后成功解决。其次，抓取正文内容，正文通常位于特定的div标签内，通过BeautifulSoup解析并去除无关内容。在运行过程中，可能会因网络或服务器问题导致程序中断，需要适当处理。
最近要跟着同学做一个小项目，需要自己找语料库，于是我用python 的 beautifulsoup 和urllib 来抓取一些网页内容来做训练语料。现在写下来备忘，虽然还有些不足。
这里，我抓取的是凤凰军事的滚动新闻，点开后可以发现是一系列的新闻链接，所以接下来就分两个方面的工作，第一个是将这些新闻链接全部提取出来，保存文本。第二个是根据这些链接访问网页，抓取正文内容，再保存文本。
提取新闻链接
通过分析滚动新闻的网页源码，发现这些超链接都是在<div class = "main"> </div>标签之间（不同网站有不同的格式），用beautifulsoup来提取比较好，若用urllib容提取到其他url，不易区分。
我们在滚动新闻下方会发现有“下一页”和“前一天”的标签，于是我们的思路是：本页的url提取完，如果有“下一页”标签，就将其url拿出来访问，在提取url，若没有“下一页”标签，则取出“前一天”标签的url来访问，就这样循环往下提取url，直到你认为够用了为止。（我做了100次的循环，大约爬了3800个url）
最低0.47元/天 解锁文章
扫一扫
1040
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
