Kafka（第四节）使用Kafka模拟实时数据看板项目

实时数据看板项目

实时数据看板

简单说来，实时数据看板就是要将实时产生的业务数据，收集起来进行一定分析将分析结果以或文字或图表的形式展示出来

需求分析

本文模拟一个用于订单数据分析的实时数据看板
1、需要一个部署在linux服务器上的jar程序来模拟产生实时的订单数据；
2、需要一个工具来采集这些实时的订单数据，本文将通过jar程序将数据写入到一个log文件中，使用flume来采集log文件中的数据，既然是要做实时分析，那么flume的sink就不能是hdfs或hive的，因为hdfs需要依托hive才能做数据分析，并且hdfs也不擅长频繁的向文件添加数据，而hive也不擅长频繁的insert数据，并且hive分析速度也较慢，所以文本将flume采集的数据使用Kafka来接收；
3、Kafka接收到数据后，马上将数据消费，并发送到内存数据库中，比如redis，在内存数据库中进行实时的数据分析，本文模拟到Kafka消费数据即止，不再模拟数据存入数据库和分析的过程。

项目代码开发

准备工作

1、在Kafka中新建一个topic来接收和消费flume发来的数据

bin/kafka-topics.sh  --create --replication-factor 2 \
--topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5

2、IDEA中创建一个maven项目，这个项目需要包含一个将订单数据存入到log文件的类、一个订单数据本身的JavaBean、一个Kafka消费者的类。
如下是pom文件：

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.41</version>
    </dependency>
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>2.9.0</version>
    </dependency>

    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>


</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.4.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                            	<!-- 模拟实时数据产生的类的路径，需要根据实际更改 -->
                                <mainClass>realboard.LoggerPrint</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
         <plugin>
                 <artifactId> maven-assembly-plugin </artifactId>
                 <configuration>
                      <descriptorRefs>
                           <descriptorRef>jar-with-dependencies</descriptorRef>
                      </descriptorRefs>