电商数仓6.0——业务数据

业务数据：各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。

MySQL服务器的Binlog默认是未开启的，如需进行同步，需要先进行开启。

修改MySQL配置文件/etc/my.cnf

vim /etc/my.cnf

增加如下配置

#数据库id

server-id = 1

#启动binlog，该参数的值会作为binlog的文件名

log-bin=mysql-bin

#binlog类型，maxwell要求为row类型（Binlog会记录每次写操作后被操作行记录的变化）

binlog_format=row

#启用binlog的数据库，需根据实际情况作出修改

binlog-do-db=gmall

重启节点的MySQL服务

systemctl restart mysqld

Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。

1）创建数据库

CREATE DATABASE maxwell;

2）创建Maxwell用户并赋予其必要权限

CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';

GRANT ALL ON maxwell.* TO 'maxwell'@'%';

GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

修改Maxwell配置文件

vim config.properties

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis

producer=kafka

# 目标Kafka集群地址

kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}

kafka_topic=topic_db

# MySQL相关配置

host=hadoop102

user=maxwell

password=maxwell

jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=tru

# 过滤gmall中的z_log表数据，该表是日志数据的备份，无须采集

filter=exclude:gmall.z_log

# 指定数据按照主键分组进入Kafka不同分区，避免数据倾斜

producer_partition_by=primary_key

启动集群，启动Kafka消费者，模拟生成数据，观察Kafka消费者