多站点RSS新闻正文抓取，导入discuz论坛，自动发帖的实现(一)

公司研发部不能上外网，但是公司又希望研发的同事能关注下新闻，了解科技热点，跟上时代潮流。所以搭建了一个discuz论坛， 但内容匮乏。幸运的是搭这台论坛的服务器可以上网的(在两个网络里面)。所以想着要我做一个爬虫工具，通过rss把新闻内容，抓取过来放到公司论坛。

  现在已经实现了，同时抓取多个网站上面的数据(IT之家，虎嗅网等等)，只有文字没有图片。当然图片抓取，我也会尝试做出来。目前的效果还不错。网络上关于RSS读取的文字特别多，但是关于rss中链接指向正文的抓取比较少，正好这几天做这样一个项目，现在把设计思想和关键代码贴出来分享一下。   源码已经整理上传，在文章最底部有链接。

一、先简单介绍下RSS

1:  什么是RSS  RSS(really simple syndication) :网页内容聚合器。RSS的格式是XML。必须符合XML 1.0规范。  RSS的作用：订阅BLOG,订阅新闻 2  RSS的历史版本:  http://blogs.law.harvard.edu/tech/rssVersionHistory  RSS的版本有很多个，0.90、0.91、0.92、0.93、0.94、1.0 和 2.0。与RSS相对的还有ATOM。  国内主要是RSS2.0,国外主要用ATOM0.3.  由于RSS出现2派，导致混乱场面。其中RSS2.0规范由哈佛大学定义并锁定。  地址:http://blogs.law.harvard.edu/tech/rss  3:  解析jar:Rome: http://wiki.java.net/bin/view/Javawsxml/Rome  Rome是 java.net 上的一个开源项目，现在的版本是1.0。为什么