RSS 聚合学习

最新推荐文章于 2023-02-25 15:08:09 发布

iteye_984

最新推荐文章于 2023-02-25 15:08:09 发布

阅读量186

点赞数

分类专栏：开源项目文章标签： XML 情感 Apache J#

开源项目专栏收录该内容

5 篇文章 0 订阅

订阅专栏

众多网站都提供了 RSS 订阅功能，它确实很方便，可以快速订阅相关信息。前些日子有个朋友说能不能写个在 java 中获取 RSS 信息的相关类，于是就写了个。代码如下，毕竟 java 是开源的，躲躲藏藏不是我的风格，一起探讨才是深层次的真谛。

(1) Channel.java 文件，它表示一个 RSS 频道(名字好像有点别扭)


package com.flysoft.fuse4j.support.rss;

import java.util.ArrayList;
import java.util.List;

/**
 * Channel 类表示新闻频道。
 * flysoft company.
 * @author Dingli.
 * 2008 Apr 13, 2008 12:31:41 PM
 */
public class Channel
{
	//一个标识该频道的简短描述。它不是 RSS 规范的一部分，仅供程序使用。
	private String shortName = null;
	//频道的名称。它表明别人如何访问你的服务。
	private String title = null;
	//对应频道的网站的URL链接地址。
	private String link = null;
	//关于频道的描述。
	private String description = null;
	//频道使用的语言。
	private String language = null;
	//频道内容的版权声明。
	private String copyright = null;
	//频道技术支持人员的电子邮件地址。
	private String webMaster = null;
	//频道内容发布的日期。所有的日期和时间都必须遵循 RFC 822规范, 但年份可以用２个或４个字母表示(首选４个字母)。
	private String pubDate = null;
	//频道内容的最后修改时间。
	private String lastBuildDate = null;
	//指定频道所属的一个或多个分类。遵循与item级category元素相同的规则。
	private String category = null;
	//表明生成频道的程序名称的字符串。
	private String generator = null;
	//指向该RSS文件所用格式说明文档的URL链接地址。
	private String docs = null;
	//允许通过注册一个cloud来处理获得频道的更新通知，并为rss种子实现一个轻量级的发布订阅协议。
	private String cloud = null;
	//指定一个可以在频道中显示的GIF、JPEG或者 PNG 图像。
	private String ttl = null;
	//指定一个可以在频道中显示的GIF、JPEG或者 PNG 图像。
	private String image = null;
	//频道的 PICS 内容分级信息。
	private String rating = null;
	//提示聚合器，可以跳过那些小时的时间段。
	private String textInput = null;
	//提示聚合器，可以跳过那些小时的时间段。
	private String skipHours = null;
	//提示聚合器，可以跳过那些天的时间段。
	private String skipDays = null;
	//item 对象。
	private List item = null;

	public Channel()
	{
		this.item = new ArrayList();
	}

	public Channel(String shortName, String title, String link, String description, String language, String copyright, String webMaster, String pubDate, String lastBuildDate, String category, String generator, String docs, String cloud, String ttl, String image, String rating, String textInput, String skipHours, String skipDays)
	{
		super();
		this.shortName = shortName;
		this.title = title;
		this.link = link;
		this.description = description;
		this.language = language;
		this.copyright = copyright;
		this.webMaster = webMaster;
		this.pubDate = pubDate;
		this.lastBuildDate = lastBuildDate;
		this.category = category;
		this.generator = generator;
		this.docs = docs;
		this.cloud = cloud;
		this.ttl = ttl;
		this.image = image;
		this.rating = rating;
		this.textInput = textInput;
		this.skipHours = skipHours;
		this.skipDays = skipDays;
		this.item = new ArrayList();
	}

	public List getItem()
	{
		return item;
	}

	public void setItem(Item item)
	{
		this.getItem().add(item);
	}

	public String getCategory()
	{
		return category;
	}

	public void setCategory(String category)
	{
		this.category = category;
	}

	public String getCloud()
	{
		return cloud;
	}

	public void setCloud(String cloud)
	{
		this.cloud = cloud;
	}

	public String getCopyright()
	{
		return copyright;
	}

	public void setCopyright(String copyright)
	{
		this.copyright = copyright;
	}

	public String getDescription()
	{
		return description;
	}

	public void setDescription(String description)
	{
		this.description = description;
	}

	public String getDocs()
	{
		return docs;
	}

	public void setDocs(String docs)
	{
		this.docs = docs;
	}

	public String getGenerator()
	{
		return generator;
	}

	public void setGenerator(String generator)
	{
		this.generator = generator;
	}

	public String getImage()
	{
		return image;
	}

	public void setImage(String image)
	{
		this.image = image;
	}

	public String getLanguage()
	{
		return language;
	}

	public void setLanguage(String language)
	{
		this.language = language;
	}

	public String getLastBuildDate()
	{
		return lastBuildDate;
	}

	public void setLastBuildDate(String lastBuildDate)
	{
		this.lastBuildDate = lastBuildDate;
	}

	public String getLink()
	{
		return link;
	}

	public void setLink(String link)
	{
		this.link = link;
	}

	public String getPubDate()
	{
		return pubDate;
	}

	public void setPubDate(String pubDate)
	{
		this.pubDate = pubDate;
	}

	public String getRating()
	{
		return rating;
	}

	public void setRating(String rating)
	{
		this.rating = rating;
	}

	public String getShortName()
	{
		return shortName;
	}

	public void setShortName(String shortName)
	{
		this.shortName = shortName;
	}

	public String getSkipDays()
	{
		return skipDays;
	}

	public void setSkipDays(String skipDays)
	{
		this.skipDays = skipDays;
	}

	public String getSkipHours()
	{
		return skipHours;
	}

	public void setSkipHours(String skipHours)
	{
		this.skipHours = skipHours;
	}

	public String getTextInput()
	{
		return textInput;
	}

	public void setTextInput(String textInput)
	{
		this.textInput = textInput;
	}

	public String getTitle()
	{
		return title;
	}

	public void setTitle(String title)
	{
		this.title = title;
	}

	public String getTtl()
	{
		return ttl;
	}

	public void setTtl(String ttl)
	{
		this.ttl = ttl;
	}

	public String getWebMaster()
	{
		return webMaster;
	}

	public void setWebMaster(String webMaster)
	{
		this.webMaster = webMaster;
	}
}

(2) Item.java 文件，它表示一条 RSS 消息(名字好像也有点别扭)


package com.flysoft.fuse4j.support.rss;

/**
 * Item 类表示一条新闻。
 * flysoft company.
 * @author Dingli.
 * 2008 Apr 13, 2008 2:35:26 PM
 */
public class Item
{
	//item的标题。
	private String title = null;
	//item的URL链接地址。
	private String link = null;
	//item的摘要。
	private String description = null;
	//item作者的电子邮件地址。
	private String author = null;
	//包含item在一个或多个分类中。
	private String category = null;
	//item的注释。
	private String comments = null;
	//item附加的媒体对象。
	private String enclosure = null;
	//可以唯一确定item身份的字符串。
	private String guid = null;
	//item发布的时间。
	private String pubDate = null;
	//rss频道来源。
	private String source = null;

	public Item()
	{}

	public Item(String title, String link, String description, String author, String category, String comments, String enclosure, String guid, String pubDate, String source)
	{
		this.title = title;
		this.link = link;
		this.description = description;
		this.author = author;
		this.category = category;
		this.comments = comments;
		this.enclosure = enclosure;
		this.guid = guid;
		this.pubDate = pubDate;
		this.source = source;
	}

	public String getAuthor()
	{
		return author;
	}

	public void setAuthor(String author)
	{
		this.author = author;
	}

	public String getCategory()
	{
		return category;
	}

	public void setCategory(String category)
	{
		this.category = category;
	}

	public String getComments()
	{
		return comments;
	}

	public void setComments(String comments)
	{
		this.comments = comments;
	}

	public String getDescription()
	{
		return description;
	}

	public void setDescription(String description)
	{
		this.description = description;
	}

	public String getEnclosure()
	{
		return enclosure;
	}

	public void setEnclosure(String enclosure)
	{
		this.enclosure = enclosure;
	}

	public String getGuid()
	{
		return guid;
	}

	public void setGuid(String guid)
	{
		this.guid = guid;
	}

	public String getLink()
	{
		return link;
	}

	public void setLink(String link)
	{
		this.link = link;
	}

	public String getPubDate()
	{
		return pubDate;
	}

	public void setPubDate(String pubDate)
	{
		this.pubDate = pubDate;
	}

	public String getSource()
	{
		return source;
	}

	public void setSource(String source)
	{
		this.source = source;
	}

	public String getTitle()
	{
		return title;
	}

	public void setTitle(String title)
	{
		this.title = title;
	}
}

(3) RssParser.java 文件，它是关键的类，使用它来解析 RSS 消息。


package com.flysoft.fuse4j.support.rss;

import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.Enumeration;
import java.util.Hashtable;
import java.util.List;
import org.apache.commons.configuration.XMLConfiguration;

/**
 * RssParser 类提供获取 RSS 资源的功能。
 * flysoft company.
 * @author Dingli.
 * 2008 Apr 12, 2008 9:29:55 PM
 */
public class RssParser
{
	//保存 RSS 资源的获取地址。
	private Hashtable rssAddress = null;
	//保存 RSS 资源。
	private List rssResource = null;
	//XML 配置器。
	private static final XMLConfiguration xmlConfiguration = new XMLConfiguration();

	/**
	 * RssParser 类的默认构造方法。
	 */
	public RssParser()
	{
		//构建保存 RSS 资源地址的 Hashtable 对象。
		this.rssAddress = new Hashtable();
		//构建保存 RSS 资源的 ArrayList 对象。
		this.rssResource = new ArrayList();
	}

	/**
	 * 根据指定的描述名称获取 RSS 资源地址。
	 * @param shortName 一个简短的描述名称。
	 * @return RSS 资源地址。
	 */
	public String getRssAddress(String shortName)
	{
		if(this.getRssAddress().containsKey(shortName))
		{
			return this.getRssAddress().get(shortName).toString();
		}
		else
		{
			return null;
		}
	}

	/**
	 * 获取全部添加的 RSS 资源地址。
	 * @return RSS 资源地址列表。
	 */
	public Hashtable getRssAddress()
	{
		return this.rssAddress;
	}

	/**
	 * 用指定的描述名称添加一个 RSS 资源地址。
	 * @param shortName 一个简短的描述名称。
	 * @param url RSS 资源地址。
	 */
	public void addRssAddress(String shortName, String url)
	{
		if(!this.getRssAddress().containsKey(shortName))
		{
			this.getRssAddress().put(shortName, url);
		}
	}

	/**
	 * 删除指定描述名称对应的 RSS 资源地址。
	 * @param shortName 一个简短的描述名称。
	 */
	public void removeRssAddress(String shortName)
	{
		if(this.getRssAddress().containsKey(shortName))
		{
			this.getRssAddress().remove(shortName);
		}
	}

	/**
	 * 清除全部添加的 RSS 资源地址。
	 */
	public void clearRssAddress()
	{
		if(!this.getRssAddress().isEmpty())
		{
			this.getRssAddress().clear();
		}
	}

	/**
	 * 获取指定描述名称对应的 RSS 资源内容。
	 * @param shortName 为该新闻频道自定义的简短描述名。
	 * @return RSS 资源列表。
	 */
	public List getRssResource(String shortName)
	{
		//构建临时列表。
		List list = new ArrayList();
		//遍历所有列表内容。
		for(int i = 0; i < this.getRssResource().size(); i++)
		{
			//转换为 Channel 对象。
			Channel channel = (Channel)this.getRssResource().get(i);
			//判断描述名称是否为给定的值。
			if(channel.getShortName().equals(shortName))
			{
				list.add(channel);
			}
		}
		//返回指定描述名称的 RSS 资源链表。
		return list;
	}

	/**
	 * 获取全部 RSS 资源内容。
	 * @return RSS 资源列表。
	 */
	public List getRssResource()
	{
		return this.rssResource;
	}

	/**
	 * 清除全部获取的 RSS 资源内容。
	 */
	public void clearRssResource()
	{
		if(!this.getRssResource().isEmpty())
		{
			this.getRssResource().clear();
		}
	}

	/**
	 * 查找指定 RSS 资源。
	 */
	public void findRssResource() throws Exception
	{
		InputStream inputStream = null;
		try
		{
			//枚举所有添加的 RSS 地址。
			for(Enumeration enumeration = this.getRssAddress().keys(); enumeration.hasMoreElements();)
			{
				//获取 该 RSS 地址对应的简短描述名。
				String shortName = enumeration.nextElement().toString();
				//打开输入流。
				inputStream = new URL(this.getRssAddress().get(shortName).toString()).openStream();
				//从输入流载入配置。
				RssParser.xmlConfiguration.load(inputStream);
				//解析以 XML 字符串表示的 RSS 资源。
				parseRssResource(shortName);
			}
		}
		finally
		{
			//清除 XML 配置器。
			RssParser.xmlConfiguration.clear();
			//关闭输入流。
			inputStream.close();
		}
	}

	/**
	 * 解析 RSS 资源。
	 */
	private void parseRssResource(String shortName)
	{
		//获取全部channel数目(基于0)。
		int maxChannelIndex = RssParser.xmlConfiguration.getMaxIndex("channel");
		//遍历所有channel元素。
		for(int i = 0; i <= maxChannelIndex; i++)
		{
			//填充channel。
			fillChannel(shortName);
		}
	}

	/**
	 * 填充channel。
	 * @param shortName 一个简短的描述名称。
	 */
	private void fillChannel(String shortName)
	{
		//获取全部item数目(基于0)。
		int maxItemIndex = RssParser.xmlConfiguration.getMaxIndex("channel.item");
		//构建频道对象。
		Channel channel = new Channel();
		channel.setShortName(shortName);
		channel.setCategory(resetValue(RssParser.xmlConfiguration.getProperty("channel.category")));
		channel.setCloud(resetValue(RssParser.xmlConfiguration.getProperty("channel.cloud")));
		channel.setCopyright(resetValue(RssParser.xmlConfiguration.getProperty("channel.copyright")));
		channel.setDescription(resetValue(RssParser.xmlConfiguration.getProperty("channel.description")));
		channel.setDocs(resetValue(RssParser.xmlConfiguration.getProperty("channel.docs")));
		channel.setGenerator(resetValue(RssParser.xmlConfiguration.getProperty("channel.generator")));
		channel.setImage(resetValue(RssParser.xmlConfiguration.getProperty("channel.image")));
		channel.setLanguage(resetValue(RssParser.xmlConfiguration.getProperty("channel.language")));
		channel.setLastBuildDate(resetValue(RssParser.xmlConfiguration.getProperty("channel.lastBuildDate")));
		channel.setLink(resetValue(RssParser.xmlConfiguration.getProperty("channel.link")));
		channel.setPubDate(resetValue(RssParser.xmlConfiguration.getProperty("channel.pubDate")));
		channel.setRating(resetValue(RssParser.xmlConfiguration.getProperty("channel.rating")));
		channel.setSkipDays(resetValue(RssParser.xmlConfiguration.getProperty("channel.skipDays")));
		channel.setSkipHours(resetValue(RssParser.xmlConfiguration.getProperty("channel.skipHours")));
		channel.setTextInput(resetValue(RssParser.xmlConfiguration.getProperty("channel.textInput")));
		channel.setTitle(resetValue(RssParser.xmlConfiguration.getProperty("channel.title")));
		channel.setTtl(resetValue(RssParser.xmlConfiguration.getProperty("channel.ttl")));
		channel.setWebMaster(resetValue(RssParser.xmlConfiguration.getProperty("channel.webMaster")));
		//遍历所有item元素。
		for(int i = 0; i <= maxItemIndex; i++)
		{
			//填充item。
			fillItem(channel, i);
		}
		//添加channel元素。
		this.getRssResource().add(channel);
	}

	/**
	 * 填充item。
	 * @param channel Channel 对象。
	 * @param currentItemIndex 当前的item索引。
	 */
	private void fillItem(Channel channel, int currentItemIndex)
	{
		Item item = new Item();
		item.setAuthor(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").author")));
		item.setCategory(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").category")));
		item.setComments(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").comments")));
		item.setDescription(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").description")));
		item.setEnclosure(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").enclosure")));
		item.setGuid(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").guid")));
		item.setLink(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").link")));
		item.setPubDate(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").pubDate")));
		item.setSource(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").source")));
		item.setTitle(resetValue(RssParser.xmlConfiguration.getProperty("channel.item(" + currentItemIndex + ").title")));
		channel.setItem(item);
	}

	/**
	 * 重置对象的值。
	 * @param object 指定的对象。
	 * @return 如果对象为空，则返回空字符串，否则返回对象转换为字符串后的值。
	 */
	private String resetValue(Object object)
	{
		return (object == null)? "": object.toString(); 
	}
}

用一个 main() 方法来简单表明如何使用。


public class MainClass
{
	public static void main(String[] args) throws Exception
	{
		try
		{
			//RSS 资源解析对象。
			RssParser rssParser = new RssParser();
			//添加 RSS 链接地址。
			rssParser.addRssAddress("人民网", "http://www.people.com.cn/rss/politics.xml");
			//查找 RSS 资源。
			rssParser.findRssResource();
			//获取 RSS 资源内容。
			List channelList = rssParser.getRssResource("人民网");
			//遍历全部频道。
			for(int i = 0; i < channelList.size(); i++)
            {
				//得到一个频道内容。
				Channel channel = (Channel)channelList.get(i);
				//获取该频道下的全部消息条目。
				List itemList = channel.getItem();
				//遍历全部消息条目。
				for(int j = 0; j < itemList.size(); j++)
                {
					//获取一个消息条目。
					Item item = (Item)itemList.get(j);
					//输出消息条目标题。
					System.out.println(item.getTitle());
                }
            }
		}
		catch(Exception ex)
		{
			ex.printStackTrace();
		}
	}
}

Channel.java 和 Item.java 实际上是两个 POJO 文件，RssParser.java 使用了 apache 的 XMLConfiguration 组件来解析请求 RSS 地址后返回的 XML 文档。如果有人问“为什么不使用 dom4j 解析呢”，答案是：问题的关键是如何解析返回的 XML 文档，而不是评价工具的好坏！你喜欢怎么解析都由你（哪怕是直接解析返回的二进制流也没有人说你是傻子，可能还会佩服你的“技术”，但这完全没有必要！）。

最近有点困惑，所以很久没有打理这里了，实话说吧，我喜欢上了公司的一个女孩子，但她每次都说只能和我做普通朋友，而且感觉她离我“忽近忽远”，于是我拿出写 java 类时的感觉对她发起“进攻”，很显然，她不喜欢这样，我也没有成功。我发现人在陷入情感世界时大脑几乎是停顿的，你无法正确思考你想思考的东西。但，这是我们必须选择的！哪怕我们是“古板”、“呆头呆脑”的程序员（我不喜欢“软件工程师”这称呼）。