Mysql同步到Hive实例

Mysql同步到Hive实例

以下实例均为本地模式下运行完成，主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。

mysqlwrite参数说明：https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.md

hiveread参数说明：https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/writer/hivewriter.md

1. 搭环境

首先需要安装Mysql，Hadoop，Hive。我将Mysql安装在本地，Hadoop搭建三台集群在虚拟机上，他们之间能够远程连接
在虚拟机上编译安装Flinkx。可参考官方快速启动Flinkx，我使用的是Flinkx1.8.5

2. 启动

启动mysql，hadoop，hive

# 启动hadoop
[root@slave13 conf]# start-all.sh
# 启动Hive
[root@slave13 conf]# hive
# 启动Hiveserver2,可使用jdbc连接操作hive
[root@slave13 conf]# hiveserver2
#启动后的进程
[root@slave13 conf]# xcall jps
=========slave13==================
37588 NameNode
37797 SecondaryNameNode
71958 RunJar
37965 ResourceManager
76156 Jps
=========slave11=====================
9633 Jps
118029 NodeManager
117903 DataNode
=========slave12=====================
5813 Jps
115654 NodeManager
115530 DataNode

3. 开始

为了让大家先看看效果，先做个简单的实例；

3.1 准备mysql上的源表和数据

create table emp(
    id   int