大数据ETL工具
文章平均质量分 79
笨鸟的平凡之路
这个作者很懒,什么都没留下…
展开
-
笨鸟的平凡之路-KETTLE的安装
第一步:安装jdk 1、官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,下载mac版的JDK,下载后,直接安装。 2、打开终端,输入 java -version,当出现java版本信息,则表示安装成功。 第二步:安装Kettle 1、https://sourceforge....原创 2019-05-23 10:58:21 · 388 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之DB连接
该文章只针对MAC版,kettle版本对应的是7.1,CDH为5.11.2 启动kettle Mac启动终端,找到kettle的安装目录,并在终端转到data-integration目录下 xuyi123:~ xuyi123$ cd /Users/xuyi123/Desktop/work/kettle/data-integration xuyi123:data-integration xuy...原创 2019-06-10 18:14:47 · 1507 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之hive2连接之前的配置
连接 hive2 三部曲 启动hiveServer2 修改plugin.properties及添加覆盖xml文件 添加hive对应的jar包 1.cdh安装完后hiveServer2可以直接在UI界面启动. (也可以控制台shell命令启动) 2.修改plugin.properties及添加覆盖xml文件 2.1 修改plugin.properties文件 plugin.properti...原创 2019-06-10 18:08:50 · 705 阅读 · 0 评论 -
笨鸟的平凡之路-kettle使用之MySQL数据写入HDFS
表输入 步骤: 1.核心对象 2.输入 3.表输入 4.右侧图形化界面右击表输入,选择编辑步骤 5.数据库连接->新建 6.SQL填写(编写需要写入HDFS的数据条件) 7.记录数量限制(默认是0,全量导入) 8.确定 表输入信息填写: HDFS输出 步骤: 1.核心对象 2.Big Data 3.双击Hadoop File Output 4.右侧图形化界面右击Hadoop File...原创 2019-06-11 10:50:19 · 868 阅读 · 0 评论 -
笨鸟的平凡之路-sqoop增量导数
准备工作 mysql建表及入数: [root@cm ~]# mysql -uroot -p111111 mysql> create database test_sqoop; mysql> use test_sqoop; mysql> create table students(s_id varchar(128),s_name varchar(128),s_birth varc...原创 2019-06-24 15:47:11 · 811 阅读 · 0 评论