第一篇博文深入浅出JMS(一)–JMS基本概念,我们介绍了JMS的两种消息模型:点对点和发布订阅模型,以及消息被消费的两个方式:同步和异步,JMS编程模型的对象,最后说了JMS的优点。
第二篇博文深入浅出JMS(二)–ActiveMQ简单介绍以及安装,我们介绍了消息中间件ActiveMQ,安装,启动,以及优缺点。
第三篇博文深入浅出JMS(三)–ActiveMQ简单的HelloWorld实例,我们实现了一种点对点的同步消息模型,并没有给大家呈现发布订阅模型。
前言
功能介绍:使用ActiveMQ接收爬虫端实时消息,实时持久化到HDFS ;
[ 在实际项目中,实时持久化到HDFS会存在问题,将在另一篇文章中详细介绍:HDFS文件写入FSDataOutputStream中的持久化hsync()不起作用详解 ]
环境准备
依赖的文件:集群hadoop相关配置文件
pom.xml文件:
<dependencies>
<!-- hadoop 相关maven依赖 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.1</version>
</dependency>
<dependency>
<groupId