windows下部署datax

一:准备软件环境

      (一)java jdk1.8

        (安装过程略)

      (二)mysql 8.0

        (安装过程略) 可参考 Windows下安装MySQL（详解）_冷-风-吹的博客-CSDN博客_mysql win

       安装完成记得把主机改为%,否则不能远程连接,修改方法参考:

mysql数据库连接报错:is not allowed to connect to this mysql server_鱼大虾的博客-CSDN博客      

      (三).python

        1.下载地址:Python Release Python 2.7.12 | Python.org

         打开上述链接，显示如下：

 我的是64位系统,选择图中标红的版本

注意：安装程序下载之后不能放到中文路径下双击安装，必须放到英文路径下才可以。

        2.双击下载之后的msi安装程序进行安装，选择“Install just for me（not available on Windows Vista）”，然后点“Next >”，操作截图如下：

        3.选择安装路径，用默认的C盘即可，然后点“Next >”，操作截图如下： 

        

        4.选择Python所要安装的文件，默认全部即可，然后点“Next >”，操作截图如下： 

        

       5.安装过程需要一些时间，过程中会弹出命令行，不用管它，过一会安装完成会自动关闭，显示截图如下：

        6.安装完成之后显示如下截图的内容，点击“Finish”即可。 

        7.将安装的Python添加到环境变量中，右键“我的电脑”（win7系统有的显示是“计算机”）选择“属性”，然后选择“高级系统设置”，操作步骤略;

        8.通过快捷键“windows+R”打开“运行”，然后输入“cmd”打开命令行窗口，输入“python -V”命令，回车之后会打印出当前python的版本信息，这就说明我们的Python安装完成，并且配置完环境变量。操作过程及结果截图如下：

  (四).datax

    1.下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

     下载完成后选择文件夹解压

 其中bin目录是脚本目录，job下存放的json文件就是用来运行的。测试：
进入bin目录

python datax.py D:\datax\job\job.json

运行成功 

 (五).hadoop3.2.2

  在使用IDEA编译datax-admin时,需要用到

  1.下载地址:https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz

   下载后解压至d:盘

        

2:下载bin中的文件库https://gitcode.net/mirrors/cdarlint/winutils/-/archive/master/winutils-master.zip 

解压其中对应的版本中的文件, 然后拷贝到上面的d:\hadoop-3.2.2\bin中,然后在系统环境变量的path中,加入d:\hadoop-3.2.2\bin

 (六)datax-web-master

     1.下载地址:

https://gitcode.net/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip​​​​​​jhttps://gitcode.net/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip

       

        2.创建数据库

               解压后,进入bin\data目录下,打开datax-web.sql,进入mysql,新建数据库datax-web, 粘贴代码,生成数据库

        3.编译datax-admin和datax-executor

           编译前,需要设置环境变量参数

         

        提示: 在使用过程中,尽量在application.yml中使用常量设置. 因为使用变量在调试时可以,但打包发布后,会提示变量错误

        4.打包datax-admin和datax-executor

    在本地调试通过后,便可以打包进行发布了.maven中选择datax-web,首先双击clean,完成后,双击package.

         5.包文件检查

           (1)用winrar打开datax-admin-2.1.2.jar, 检查包中的BOOT-INF/classes文件夹下是否有application.yml、bootstrap.properties、logback.xml,如果没有,在winrar中右键,选择"添加文件到压缩文件",将target/classes/下的三个文件添加进来

         (2)检查包中BOOT-INF/classes/i18n中,是否存在message.properties和message_en.properties,如果不存在,将datax-admin下的target/classes/i8n下的message.properties和message_en.properties添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\i18n下

        (3)将datax-admin下的target/classes/mybatis-mapper下的所有xml文件添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下 

        (4)检查lib目录,将datax-admin/ src/main/lib/的HiveJDBC41.jar,ojdbc6-11.2.0.3.jar,sqljdbc4-4.0.jar,添加到datax-admin-2.1.2.jar下的BOOT-INF\lib下       

       注意：补充进的时候需要通过 不压缩直接存储，否则会报错，不识别压缩的驱动jar包

1       

                                                                        2

 

3

 

         (5)检查datax-executor-2.1.2.jar,将datax-executor编译生成后的target/classes下的配置文件application.yml、logback.xml拷贝进datax-executor-2.1.2.jar下的BOOT-INF\classes下

    6.将包拷贝到已部署好环境的服务器.

    7.启动datax-admin,在datax-admin目录内新建一个批处理文件startup.bat.   

title[datax-web管理]
java -jar datax-admin-2.1.2.jar

     保存后双击,即可启动.启动成功界面如下:

 8.启动datax-executor,在datax-executor目录内,新建一个批处理文件startup.bat

title[datax-web执行器]
java -jar datax-executor-2.1.2.jar

   保存后双击,即可启动,启动成功界面如:

9.打开浏览器, 输入http://127.0.0.1:7700/index.html

至此,部署完毕!