1.数据库名字 要从tms01 修改到 tms
2.修改mysql主从复制里面的 tms01 修改到 tms
3.DataX配置文件生成器 configuration.properties里面 把tms01 修改到 tms
4.修改 mysql_to_hdfs_full.sh 脚本中 tms01 修改到 tms
5.flink-cdc / flink-cdc.sh运行问题
解决方案:
首先先到hadoop102 开启 start-cluster.sh
1.通过web UI提交任务
全类名 / Entrt Class
com.atguigu.tms.realtime.app.ods.OdsApp
参数 / Program Arguments
--HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写)
2.通过shell 命令提交任务
./bin/flink run -c com.atguigu.tms.realtime.app.ods.OdsApp ./job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar -p 2 --HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写)
可以使用 nohup 挂后台运行
nohup ./bin/flink run -c com.atguigu.tms.realtime.app.ods.OdsApp ./job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar -p 2 --HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写) > /dev/null(按需填写) 2>&1 &
6.修改Hadoop104 Flume 配置文件 tms_kafka_to_hdfs.conf 配置中
添加
a1.sources.r1.useFlumeEventFormat = false
检查下面全类名路径是否有问题
a1.sources.r1.interceptors.i1.type = com.atguigu.tms.flume.interceptors.TimestampAndTableNameInterceptor$Builder
7.修改Hadoop104 Flume JVM内存大小
cd /opt/module/flume/conf
vim flume-env.sh
添加下列内容
export JAVA_OPTS="-Xms200m -Xmx400m -Dcom.sun.management.jmxremote"
修改下列内容
cd /opt/module/flume/
vim bin/flume-ng
JAVA_OPTS="-Xmx240m"
2023/07/04
8.运单明细表建表语句
下图中的volume 都改成 volumn