大数据ETL工具
文章平均质量分 79
笨鸟的平凡之路
这个作者很懒,什么都没留下…
展开
-
笨鸟的平凡之路-KETTLE的安装
第一步:安装jdk1、官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,下载mac版的JDK,下载后,直接安装。2、打开终端,输入 java -version,当出现java版本信息,则表示安装成功。第二步:安装Kettle1、https://sourceforge....原创 2019-05-23 10:58:21 · 420 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之DB连接
该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2启动kettleMac启动终端,找到kettle的安装目录,并在终端转到data-integration目录下xuyi123:~ xuyi123$ cd /Users/xuyi123/Desktop/work/kettle/data-integration xuyi123:data-integration xuy...原创 2019-06-10 18:14:47 · 1561 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之hive2连接之前的配置
连接 hive2 三部曲启动hiveServer2修改plugin.properties及添加覆盖xml文件添加hive对应的jar包1.cdh安装完后hiveServer2可以直接在UI界面启动.(也可以控制台shell命令启动)2.修改plugin.properties及添加覆盖xml文件2.1 修改plugin.properties文件plugin.properti...原创 2019-06-10 18:08:50 · 722 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之MySQL数据写入HDFS
表输入步骤:1.核心对象2.输入3.表输入4.右侧图形化界面右击表输入,选择编辑步骤5.数据库连接->新建6.SQL填写(编写需要写入HDFS的数据条件)7.记录数量限制(默认是0,全量导入)8.确定表输入信息填写:HDFS输出步骤:1.核心对象2.Big Data3.双击Hadoop File Output4.右侧图形化界面右击Hadoop File...原创 2019-06-11 10:50:19 · 919 阅读 · 0 评论 -
笨鸟的平凡之路-sqoop增量导数
准备工作mysql建表及入数:[root@cm ~]# mysql -uroot -p111111mysql> create database test_sqoop;mysql> use test_sqoop;mysql> create table students(s_id varchar(128),s_name varchar(128),s_birth varc...原创 2019-06-24 15:47:11 · 832 阅读 · 0 评论