多站点RSS新闻正文抓取，导入discuz论坛，自动发帖的实现(一)

最新推荐文章于 2024-04-30 09:22:02 发布

狂飙-蜗牛

最新推荐文章于 2024-04-30 09:22:02 发布

阅读量7.7k

点赞数 3

分类专栏： rss http java html

本文链接：https://blog.csdn.net/kissliux/article/details/14227057

版权

本文介绍了如何实现多站点RSS新闻正文抓取，并将其导入到Discuz论坛，以解决公司研发部无法直接浏览外网新闻的问题。作者通过HTTP请求获取RSS内容，解析XML并抓取正文，处理编码问题，最终定位并提取新闻正文。文章提供了关键代码示例，并分享了源码下载链接。

摘要由CSDN通过智能技术生成

公司研发部不能上外网，但是公司又希望研发的同事能关注下新闻，了解科技热点，跟上时代潮流。所以搭建了一个discuz论坛，但内容匮乏。幸运的是搭这台论坛的服务器可以上网的(在两个网络里面)。所以想着要我做一个爬虫工具，通过rss把新闻内容，抓取过来放到公司论坛。

现在已经实现了，同时抓取多个网站上面的数据(IT之家，虎嗅网等等)，只有文字没有图片。当然图片抓取，我也会尝试做出来。目前的效果还不错。网络上关于RSS读取的文字特别多，但是关于rss中链接指向正文的抓取比较少，正好这几天做这样一个项目，现在把设计思想和关键代码贴出来分享一下。源码已经整理上传，在文章最底部有链接。

一、先简单介绍下RSS

1: 什么是RSS
RSS(really simple syndication) :网页内容聚合器。RSS的格式是XML。必须符合XML 1.0规范。
RSS的作用：订阅BLOG,订阅新闻
2 RSS的历史版本:
http://blogs.law.harvard.edu/tech/rssVersionHistory
RSS的版本有很多个，0.90、0.91、0.92、0.93、0.94、1.0 和 2.0。与RSS相对的还有ATOM。
国内主要是RSS2.0,国外主要用ATOM0.3.
由于RSS出现2派，导致混乱场面。其中RSS2.0规范由哈佛大学定义并锁定。
地址:http://blogs.law.harvard.edu/tech/rss

3: 解析jar:Rome: http://wiki.java.net/bin/view/Javawsxml/Rome
Rome是 java.net 上的一个开源项目，现在的版本是1.0。为什么