【Flink实时数仓】数据仓库项目实战《二》数据采集到kafka【ODS】

一阵暖风

已于 2022-12-02 14:11:19 修改

阅读量1.4k

点赞数 1

分类专栏：【Flink实时数仓】数据仓库项目实战文章标签： kafka flink 数据仓库

于 2022-11-27 17:29:24 首次发布

本文链接：https://blog.csdn.net/m0_47139992/article/details/128066493

版权

文章目录

【Flink实时数仓】数据仓库项目实战《二》数据采集到Kafka【ODS】
- 模拟数据采集模块：
- - -------------------------1.用户行为数据采集模块
  - -------------------------2.业务数据采集模块

【Flink实时数仓】数据仓库项目实战《二》数据采集到Kafka【ODS】

模拟数据采集模块：

-------------------------1.用户行为数据采集模块

用户行为日志
用户行为日志，一般是没有历史数据的，故日志只需要准备当前一天的数据。具体操作如下：
（1）启动 Kafka。

[root@hadoop102 clickhouse-server]# zk.sh start
---------- zookeeper hadoop102 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop103 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop104 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@hadoop102 clickhouse-server]# kf.sh start
 --------启动 hadoop102 Kafka-------
 --------启动 hadoop103 Kafka-------
 --------启动 hadoop104 Kafka-------

[root@hadoop102 clickhouse-server]# f1.sh start
--------启动 hadoop102 采集flume-------
--------启动 hadoop103 采集flume-------

[root@hadoop102 clickhouse-server]# jpsall
=============== hadoop102 ===============
2349 QuorumPeerMain
2973 Application
3389 Jps
2767 Kafka
=============== hadoop103 ===============
2451 Kafka
3076 Jps
2026 QuorumPeerMain
2668 Application
=========&