DataX-Web部署和使用-CSDN博客

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

chmod +x jdk-8u131-linux-x64.rpm
rpm -ivh jdk-8u131-linux-x64.rpm

（二）配置环境变量，在profile最后面添加

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

（三）让配置生效

source /etc/profile

（四）查看java版本，执行下面命令出现jdk版本即安装成功

java -version

三、mysql5.7安装配置

（一）查找已经安装的mysql安装包

rpm -qa|grep mysql

（二）CentOS7下还需要查找是否存在mariadb包：

rpm -qa|grep mariadb

（三）上述两步骤如果查出了mysql则需要将对应的文件删除

（四）MySQL 安装会通过 MySQL 用户在 /tmp 下建 tmp_db 文件，故需要给 /tmp 目录权限：

chmod -R 777 /tmp

（五）依赖库的检查与下载

rpm -qa|grep libaio
rpm -qa|grep net-tools
yum -y install libaio net-tools//不存在需下载

（六）下载mysql安装包及解压

wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
tar -xvf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar

下载解压后会有四个rpm包

mysql-community-common-5.7.16-1.el6.x86_64.rpm
mysql-community-libs-5.7.16-1.el6.x86_64.rpm
mysql-community-client-5.7.16-1.el6.x86_64.rpm
mysql-community-server-5.7.16-1.el6.x86_64.rpm

（七）开始安装，使用 rpm 命令按顺序依次安装 4 个包：

rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

（八）查看是否安装成功

mysqladmin –version

（九）初始化mysql

mysqld --initialize --user=mysql

这里会产生一个mysql的临时密码，一定要复制出来，如果忘记了可以查看我的关于忘记MySQL的博客

（十）启动MySQL服务

systemctl start mysqld.service
systemctl stop mysqld.service
systemctl status mysqld
systemctl list-unit-files|grep mysqld.service

（十一）登录：

首次登录需用前面生成的临时密码mysql -uroot -p 临时密码，临时密码重启mysql就改变了，故需要修改为固定的密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'new_password';

若设置密码太短等因素导致修改不成功，则修改以下参数

set global validate_password_policy=LOW; // 设置密码的验证强度等级为低(LOW)
set global validate_password_length=6; // 设置密码长度为6，最小为4

添加用户、设置字符集等就不在一一介绍了

（十二）重启MySQL服务：

systemctl restart mysqld

（十三）安装好mysql登录，新增数据库，我新增的是kmt,在kmt下创建了table1和table2表；

ceate database kmt;
use kmt;
CREATE TABLE `table1` (
`id` int(10) NULL DEFAULT NULL,
`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

CREATE TABLE `table2` (
`id` int(10) NULL DEFAULT NULL,
`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

（十四）给table1新增数据

table2

四、python2.7安装与配置

（一）安装依赖库及python安装包并解压

yum install gcc g++ zlib zlib-devel openssl-devel
wget https://www.python.org/ftp/python/2.7/Python-2.7.tgz
tar -zxvf Python-2.7.14.tgz

（二）创建安装文件夹及编译安装

#创建安装文件夹
mkdir /usr/local/python
cd Python-2.7.14
./configure --prefix=/usr/local/python/
make && make install

安装完成之后进入目录，里面显示4个目录bin include lib share

（三）输入python -version显示版本即安装成功

五、datax安装

（一）下载安装datax工具

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

（二）删除datax/plugin下._的隐藏文件,否则数据读取写入时会报错

rm -rf /usr/local/datax/plugin/*/._*

（三）修改原job.json文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "数据库用户",
                        "password": "数据库密码",
                        "column": [//表中的字段
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "对应的表"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://ip/要读取的数据库?characterEncoding=utf8"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "数据库用户",
                        "password": "数据库密码",
                        "column": [//对应的字段
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "对应的表"
                                ],
                                "jdbcUrl": "jdbc:mysql://ip/要写入的表?characterEncoding=utf8"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1,
                "byte": 104857600
            },
            "errorLimit": {
                "record": 10,
                "percentage": 0.05
            }
        }
    }
}

（四）进入datax的bin目录下执行python脚本

 python datax.py ../job/job.json

六、datax-web安装

（一）下载安装datax-web工具安装包并解压

（二）进入/home/datax-web-2.1.2/bin目录启动datax-web

./stop-all.sh 停止
./start-all.sh 启动

（三）在浏览器访问http://当前主机ip:datax-web端口/index.html

（四）执行器配置

（五）添加数据源

（六）添加项目

（七）创建datax模板

（八）任务构建，读取表的选择

写入表的选择

字段映射，勾选两表的全部字段

选择模板

构建

（九）在操作中编辑相关的内容

（十）手动执行一次后，成功后开启任务

七、数据验证

查看table2中已经同步了table1中的数据

测试设置的时间，到时间是会不会自动同步

table1