公司研发部不能上外网,但是公司又希望研发的同事能关注下新闻,了解科技热点,跟上时代潮流。所以搭建了一个discuz论坛, 但内容匮乏。幸运的是搭这台论坛的服务器可以上网的(在两个网络里面)。所以想着要我做一个爬虫工具,通过rss把新闻内容,抓取过来放到公司论坛。
现在已经实现了,同时抓取多个网站上面的数据(IT之家,虎嗅网等等),只有文字没有图片。当然图片抓取,我也会尝试做出来。目前的效果还不错。网络上关于RSS读取的文字特别多,但是关于rss中链接指向正文的抓取比较少,正好这几天做这样一个项目,现在把设计思想和关键代码贴出来分享一下。 源码已经整理上传,在文章最底部有链接。
一、先简单介绍下RSS
1: 什么是RSS RSS(really simple syndication) :网页内容聚合器。RSS的格式是XML。必须符合XML 1.0规范。 RSS的作用:订阅BLOG,订阅新闻 2 RSS的历史版本: http://blogs.law.harvard.edu/tech/rssVersionHistory RSS的版本有很多个,0.90、0.91、0.92、0.93、0.94、1.0 和 2.0。与RSS相对的还有ATOM。 国内主要是RSS2.0,国外主要用ATOM0.3. 由于RSS出现2派,导致混乱场面。其中RSS2.0规范由哈佛大学定义并锁定。 地址:http://blogs.law.harvard.edu/tech/rss 3: 解析jar:Rome: http://wiki.java.net/bin/view/Javawsxml/Rome Rome是 java.net 上的一个开源项目,现在的版本是1.0。为什么 |