目录
简介:
今日工作中的ETL脚本使用了从晶的KettlePack产品统一管理,感觉挺好用的,因此想要进一步了解一下,学习一个工具首先要从安装开始,之前我草草在本机上自定义安装了一下,没有成功,第二次在虚拟机上默认安装了下可以的,这次我要用虚拟机的环境模拟本机,进行自定义安装,一下是安装过程以及可能会发生的注意事项。
🏆1、本机环境:
MySQL5.7 使用的解压版端口3306
MySQL8.0 使用的安装版端口3307
🏆2、虚拟机环境:
仅仅安装了一个jdk和一个tomcat
🏆3、安装MySQL
首先我要做的就是在虚拟机里面安装一个MySQL8.0并且端口是3307
安装过程不在赘述,详情可以移步这里:
MYSQL8.0安装版全(上篇)_妙趣生花的博客-CSDN博客
安装完成
输入密码测试
1130 - Host '192.168.117.1' is not allowed to connect to this MySQL server
1130-主机‘192.168.117.1’不允许连接到此MySQL服务器。
解决:
mysql> use mysql;
Database changed
mysql> select host,user from user;
+-----------+------------------+
| host | user |
+-----------+------------------+
| localhost | mysql.infoschema |
| localhost | mysql.session |
| localhost | mysql.sys |
| localhost | root |
+-----------+------------------+
4 rows in set (0.00 sec)
mysql> update user set Host='%' where User='root';
Query OK, 1 row affected (0.03 sec)
Rows matched: 1 Changed: 1 Warnings: 0
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
再次连接
🏆4、安装kettlePack
(1)解压
(2)进入到解压的文件夹找到Setup双击启动
(3)点击右下角的自定义安装
(4)输入数据库连接信息;端口/用户名/密码
(5)点击自动生成建库语句
(6)执行建库语句之后,点击下一步
(7)调整安装位置,然后点击立即安装即可。
(8)这里解释一下为什么要新建这么一个库,未来里面会有很多表数据。否则安装失败,这是因为kettlePack属于是一个统一的ETL调用工具属于后台管理系统统一管理的,里面很多日志数据、脚本数据、配置数据等等需要将数据入库然后显示出来分析统计,所以需要用他们的库名为了避免不必要的bug,就约定俗成的要使用人家的库名和表名。
(9)安装完成
默认用户名和密码都在帮助文档里面有
⭐️4.1、Windows版安装
- 解压KettlePackInstall,并以管理员身份运行Setup.exe
- 根据弹出的安装界面进行安装
- 浏览器中访问:http://localhost:9089
- 默认用户名: admin
- 默认密码:congjingkeji
请及时修改密码!
注:以下资料来自从晶帮助文档
⭐️4.2、Linux安装
- 安装
解压文件
tar zxvf kettlepack-linux-x64.tar.gz -C /opt/
进入解压后目录,并使用root用户执行安装脚本;
注意 : 需要切换至root用户 ,不要使用sudo
cd /opt/kettle-pack
bin/install.sh
- 访问
浏览器中访问:http://localhost:9089
默认用户名: admin
默认密码:congjingkeji
请及时修改密码!
- 启动和停止
安装程序修改了/etc/rc.local ,以实现开机启动;
手动启动:
kettle-pack/bin/start-mysql.sh
kettle-pack/bin/start-tomcat.sh
手动停止:
kettle-pack/bin/stop-tomcat.sh
kettle-pack/bin/stop-mysql.sh
⭐️4.3、docker安装
- 官方仓库地址
- docker pull congjing/kettlepack:tag
阿里云仓库地址
docker pull registry.cn-hangzhou.aliyuncs.com/congjing/kettlepack:tag
安装
https://hub.docker.com/r/congjing/kettlepack
目录结构
kettle-pack/java -- 程序依赖jdk1.8
kettle-pack/logs -- 任务执行日志
kettle-pack/plugins -- kettle插件目录(可以直接使用pdi中的plugins复制到此处)
kettle-pack/tomcat -- tomcat-8.5
kettle-pack/workspace -- 工作目录,用于存放作业和转换
kettle-pack/mysql -- mysql-5.7(本地已有数据库的可以修改配置文件中数据库连接)