Kafka+Slipstream实现网站实时点击统计

Kafka + Slipstream 实现网站点击量统计

实验目的

掌握StreamSQL的基本用法。
掌握Slipstream流处理的基本过程。
理解输入流表、衍生流表、结果表和流任务的关系。

1. Kafka topic 创建
2. 创建输入流表
3. 创建衍生流表
4. 创建inceptor结果表，存储流数据处理结果
5. 启动流任务
6. 向Kafka topic 发送数据 通过console producer 向kafka topic 发送数据
7. 查看inceptor 结果表中的流处理结果

kafka topic 创建

cd TDH_Client/kafka/bin

./kafka-topics --create --topic topic_log_xueshen --zookeeper ip1:2181,ip2:2181,ip3:2181
--partitions 4 --replication-factor 2

./kafka-topic.sh --list --zookeeper ip1:2181,ip2:2181,ip3:2181

2 创建输入流表

create stream log_xueshen(ip string,url string,time timestamp) row format
delimited fields terminated by ',' 
tblproperties("topic"="topic_log_xueshen",
"kafka.zookeeper"="172.16.140.85:2181,172.16.140.86:2181,172.16.140.87:2181",
"kafka.