实时数据看板项目
实时数据看板
简单说来,实时数据看板就是要将实时产生的业务数据,收集起来进行一定分析将分析结果以或文字或图表的形式展示出来
需求分析
本文模拟一个用于订单数据分析的实时数据看板
1、需要一个部署在linux服务器上的jar程序来模拟产生实时的订单数据;
2、需要一个工具来采集这些实时的订单数据,本文将通过jar程序将数据写入到一个log文件中,使用flume来采集log文件中的数据,既然是要做实时分析,那么flume的sink就不能是hdfs或hive的,因为hdfs需要依托hive才能做数据分析,并且hdfs也不擅长频繁的向文件添加数据,而hive也不擅长频繁的insert数据,并且hive分析速度也较慢,所以文本将flume采集的数据使用Kafka来接收;
3、Kafka接收到数据后,马上将数据消费,并发送到内存数据库中,比如redis,在内存数据库中进行实时的数据分析,本文模拟到Kafka消费数据即止,不再模拟数据存入数据库和分析的过程。
项目代码开发
准备工作
1、在Kafka中新建一个topic来接收和消费flume发来的数据
bin/kafka-topics.sh --create --replication-factor 2 \
--topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5
2、IDEA中创建一个maven项目,这个项目需要包含一个将订单数据存入到log文件的类、一个订单数据本身的JavaBean、一个Kafka消费者的类。
如下是pom文件:
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.10.0.0</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.41</version>
</dependency>
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.9.0</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.1</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<!-- 模拟实时数据产生的类的路径,需要根据实际更改 -->
<mainClass>realboard.LoggerPrint</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<artifactId> maven-assembly-plugin </artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>