【ETL工具】Kettle 整合大数据平台（Hadoop、Hive、HBase）

已于 2023-10-17 14:18:42 修改
阅读量5.2k 收藏 41
点赞数 5
分类专栏： ETL 工具 文章标签： hbase hadoop hive kettle
于 2020-02-14 20:39:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35995514/article/details/104283670
版权

目录

一、Kettle整合Hadoop

1、 整合步骤

2、Hadoop file input组件

3、Hadoop file output组件

二、Kettle整合Hive

1、初始化数据

2、 kettle与Hive 整合配置

3、从hive 中读取数据

4、把数据保存到hive数据库

5、Hadoop Copy Files组件

6、执行Hive的HiveSQL语句

三、Kettle整合HBase

1、HBase初始化

2. HBase input组件

3、HBase output组件

一、Kettle整合Hadoop

环境  kettle 8.2 版本：

kettle国内镜像下载地址：http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/ 

1、 整合步骤

1. 确保Hadoop的环境变量设置好HADOOP_USER_NAME为root

2. 从hadoop下载核心配置文件

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml

3. 把hadoop核心配置文件放入kettle目录 

data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp26

4. 修改 data-integration\plugins\pentaho-big-data-plugin\plugin.properties文件

  • 修改plugin.properties
active.hadoop.configuration=hdp26

5. 创建Hadoop clusters

   打红色的对勾的缺一不可，node01  失效要  配置 windows 的 hosts 映射

2、Hadoop file input组件

需求：从Hadoop文件系统读取/hadoop/test/1.txt文件，把数据输入到Excel中

1.  配置Hadoop File Input组件

2. Excel 配置输出路径 即可

3、Hadoop file output组件

需求：读取 user.json 把数据写入到hdfs文件系统的的/hadoop/test/2.txt中。

1. 配置 JSON 输入组件

2. 配置Hadoop file output组件

二、Kettle整合Hive

1、初始化数据

1. 连接hive

2. 创建并切换数据库 

show databases; 			-- 查询数据库

drop database test cascade; -- 强制删除数据库

create database test;		-- 创建数据库
use test;					-- 切换数据库

3. 创建表

CREATE TABLE a (
   a int,
   b int
)
ROW format delimited
fields terminated BY ','
stored AS  TEXTFILE;

4. 创建数据文件

vim a.txt
1,11
2,22
3,33

5. 从文件中加载数据到表

load data local inpath '/export/datas/a.txt' overwrite into table a;

2、 kettle与Hive 整合配置

1. 从虚拟机下载Hadoop的jar包 

/export/servers/hadoop-2.7.5/share/hadoop/common/

2. 把jar包放置在\data-integration\lib目录下

3. 重启kettle，重新加载生效

3、从hive 中读取数据

  • hive数据库是通过jdbc来进行连接，可以通过表输入控件来获取数据。

需求：从hive数据库的test库的a表中获取数据，并把数据保存到Excel中。

实现步骤：

1. 设计一下kettle组件结构

2. 配置表输入组件

3. 配置表输出

4、把数据保存到hive数据库

hive数据库是通过jdbc来进行连接，可以通过表输出控件来保存数据。

需求：从Excel中读取数据，把数据保存在hive数据库的test数据库的 a 表。

实现步骤：

1. 配置 Excel输入组件

2. 配置表输出组件

5、Hadoop Copy Files组件

Kettle作业中的Hadoop Copy Files作业项可以将本地的文件上传到HDFS,也可以向Hive导入数据。

需求： 把资料\kettle测试数据\weblogs_parse.txt文件导入到Hive表中

资源下载地址：Pentaho Community Wiki

实现步骤：

1. 创建表 

---创建weblogs表语句

create table test.weblogs (
client_ip    string,
full_request_date string,
day    string,
month    string,
month_num int,
year    string,
hour    string,
minute    string,
second    string,
timezone    string,
http_verb    string,
uri    string,
http_status_code    string,
bytes_returned        string,
referrer        string,
user_agent    string
)
row format delimited
fields terminated by '\t';

2. 配置Hadoop copy files

3. 测试数据是否已经抽取到Hive中

数据比较多  ， 笔记本 内存有很小 ，跑起来 太费劲了

6、执行Hive的HiveSQL语句

Kettle中可以执行 Hive 的HiveSQL语句，使用作业的SQL脚本。

需求：聚合查询weblogs表（以IP和年月分组统计的PV数据），同时建立一个新表保存查询数据。

实现步骤：

1. 拖取组件，配置 SQL 组件

2. 测试数据是否生成

三、Kettle整合HBase

1、HBase初始化

从hbase集群中复制  hbase-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data-plugin/hadoop-configurations/hdp26”  目录下。

1. 进入HBase shell， 查看状态

2. 创建表，并查看

-- 创建表
create 't1','f1'

-- 查看表
describe 't1'

-- 添加数据
put 't1','rowkey001','f1:name','zhangsan'

-- 获取数据
get 't1','rowkey001'

2. HBase input组件

Kettle提供了HBase input控件来读取HBase数据库中的数据。

需求：读取HBase数据库中表里面的数据，把数据保存到Excel

实现步骤：

1. 准备一些测试数据

create 't_user','cf'

put 't_user','392456197008193000','cf:name','张三'
put 't_user','392456197008193000','cf:age','20'
put 't_user','392456197008193000','cf:gender','0'
put 't_user','392456197008193000','cf:province','北京市'
put 't_user','392456197008193000','cf:city','昌平区'
put 't_user','392456197008193000','cf:region','回龙观'
put 't_user','392456197008193000','cf:phone','18589407692'
put 't_user','392456197008193000','cf:birthday','1970-08-19'
put 't_user','392456197008193000','cf:hobby','美食;篮球;足球'
put 't_user','392456197008193000','cf:register_date','2018-08-06 09:44:43'

put 't_user','267456198006210000','cf:name','李四'
put 't_user','267456198006210000','cf:age','25'
put 't_user','267456198006210000','cf:gender','1'
put 't_user','267456198006210000','cf:province','河南省'
put 't_user','267456198006210000','cf:city','郑州市'
put 't_user','267456198006210000','cf:region','郑东新区'
put 't_user','267456198006210000','cf:phone','18681109672'
put 't_user','267456198006210000','cf:birthday','1980-06-21'
put 't_user','267456198006210000','cf:hobby','音乐;阅读;旅游'
put 't_user','267456198006210000','cf:register_date','2017-04-07 09:14:13'

put 't_user','892456199007203000','cf:name','王五'
put 't_user','892456199007203000','cf:age','24'
put 't_user','892456199007203000','cf:gender','1'
put 't_user','892456199007203000','cf:province','湖北省'
put 't_user','892456199007203000','cf:city','武汉市'
put 't_user','892456199007203000','cf:region','汉阳区'
put 't_user','892456199007203000','cf:phone','18798009102'
put 't_user','892456199007203000','cf:birthday','1990-07-20'
put 't_user','892456199007203000','cf:hobby','写代码;读代码;算法'
put 't_user','892456199007203000','cf:register_date','2016-06-08 07:34:23'

put 't_user','492456198712198000','cf:name','赵六'
put 't_user','492456198712198000','cf:age','26'
put 't_user','492456198712198000','cf:gender','2'
put 't_user','492456198712198000','cf:province','陕西省'
put 't_user','492456198712198000','cf:city','西安市'
put 't_user','492456198712198000','cf:region','莲湖区'
put 't_user','492456198712198000','cf:phone','18189189195'
put 't_user','492456198712198000','cf:birthday','1987-12-19'
put 't_user','492456198712198000','cf:hobby','购物;旅游'
put 't_user','492456198712198000','cf:register_date','2016-01-09 19:15:53'

2. 配置 HBase Input 组件

返回到  configure query ,  下面 我们使用 "create a tuple template " 模板 导出到  Excel中的 数据并没有 展开，可能不是我们想要的结果， 我们自己 设计映射 字段关系。

查看结果

 我们使用 "create a tuple template " 模板 导出到  Excel中的 数据并没有 展开，不是我们想要的结果， 我们自己 设计映射 字段关系，因为  HBase 的设计 就是  rowkey 的  column Family 下有很多的 column 自动生成 的模板 是 不能将数据 展开的。

3、HBase output组件

Kettle提供了“HBase output”控件来保存数据到 HBase 数据库中。

需求：从 user.json 中读取数据，把数据保存在HBase的t_user_2表中实现步骤：

[
    {
        "id": "392456197008193000",
        "name": "张三",
        "age": 20,
        "gender": 0,
        "province": "北京市",
        "city": "昌平区",
        "region": "回龙观",
        "phone": "18589407692",
        "birthday": "1970-08-19",
        "hobby": "美食;篮球;足球1",
        "register_date": "2018-08-06 09:44:43"
    },
    {
        "id": "267456198006210000",
        "name": "李四",
        "age": 25,
        "gender": 1,
        "province": "河南省",
        "city": "郑州市",
        "region": "郑东新区",
        "phone": "18681109672",
        "birthday": "1980-06-21",
        "hobby": "音乐;阅读;旅游",
        "register_date": "2017-04-07 09:14:13"
    },
    {
        "id": "892456199007203000",
        "name": "王五",
        "age": 24,
        "gender": 1,
        "province": "湖北省",
        "city": "武汉市",
        "region": "汉阳区",
        "phone": "18798009102",
        "birthday": "1990-07-20",
        "hobby": "写代码;读代码;算法",
        "register_date": "2016-06-08 07:34:23"
    },
    {
        "id": "492456198712198000",
        "name": "赵六",
        "age": 26,
        "gender": 2,
        "province": "陕西省",
        "city": "西安市",
        "region": "莲湖区",
        "phone": "18189189195",
        "birthday": "1987-12-19",
        "hobby": "购物;旅游",
        "register_date": "2016-01-09 19:15:53"
    },
    {
        "id": "392456197008193000",
        "name": "张三",
        "age": 20,
        "gender": 0,
        "province": "北京市",
        "city": "昌平区",
        "region": "回龙观",
        "phone": "18589407692",
        "birthday": "1970-08-19",
        "hobby": "美食;篮球;足球1",
        "register_date": "2018-08-06 09:44:43"
    },
    {
        "id": "392456197008193000",
        "name": "张三",
        "age": 20,
        "gender": 0,
        "province": "北京市",
        "city": "昌平区",
        "region": "回龙观",
        "phone": "18589407692",
        "birthday": "1970-08-19",
        "hobby": "美食;篮球;足球1",
        "register_date": "2018-08-06 09:44:43"
    }
	
]

实现步骤：

1. 配置HBase output组件

2.  配置kettle数据流与HBase映射关系

     表不能存在 创建 即可 ，不用提前创建

查看结果

   到目前  位置，我们就 将  kettle  与 Hadoop，Hive， HBase 整合完成，并且 演示了 基本的案例操作。 

遇到的问题：

  •  IP 的在 Windows在映射 在 System32  中的  hosts 中添加 
  • zookeeper  ，HBase  启动 正常 ，报错了  去看看是否挂掉，HMaster  时间久了不用， 好像就挂了 

------------------------------------ 感谢 点赞！-----------------------------------------

------------------------------------ 感谢 点赞！-----------------------------------------

------------------------------------ 感谢 点赞！-----------------------------------------

阿龙先生啊
关注
  • 5
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
maven编译pentaho-big-data-plugin遇到的所有问题解决
11-05
maven编译pentaho-big-data-plugin遇到的所有问题解决，pentaho6.0
kettle与hive建立连接教程
v15220的博客
12-11 2778
要替换kettle文件的位置：D:\programfile\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30。注意是要放在hdp30目录下的lib文件夹，而不是像把Oracle/MySQL驱动一样放在data-integration目录下的lib文件夹。版本说明：kettle：pdi-ce-8.3.0.0-371.zip。Hadoop集群：hadoop-3.3.2。如下建立db连接，恭喜测试成功！
使用ETL工具Kettle的实例
06-27
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。用户从数据源抽取出所需的数据，经过数据清洗和转换，最终形成所需的数据仓库，可用于进行数据统计分析，做商业决策等 。本项目使用开源ETL工具kettle实现一些常用的功能进行演示。 查询和连接：包含数据流的查询、连接查询有关的组件。 脚本：包含自定义脚本的使用，脚本可以用代码向数据流添加变量。 输入和输出： 任何流程必备输入输出组件，输入组件用于把文件或表数据产生数据流到流程中，输出组件用于将数据流中的数据写入到表或者文件。 应用和流程： 给流程提供一些高级应用或者控制流程状态的操作。 转换： 提供数据流的转换处理功能。包括计算器、值映射等。
大数据ETL工具 Kettle 常用输入输出.docx
11-12
大数据ETL工具 Kettle 常用输入输出.docx
ETL之kettle基础-PPT讲解
08-21
内容概要：ETL之kettle包含26张PPT，kettle安装、使用、如何连接等，使用PDI9.2演示、什么是ETL、什么是Kettle、kettle安装、kettle目录结构、转换和作业、kettle操作、数据库连接、注意事项。 适合人群：具备一定编程基础，工作1-3年的研发人员。 能学到什么： ①了解和掌握kettle的基础； ②kettle结合项目如何实现； ➂kettle是如何安装的； ➃知道kettle不足点； ➄ketlle数据同步如何调优； ➅掌握kettle的核心概念。 阅读建议： 此资源要有数据库开发的基础，熟悉使用常见的MySQL、Oracle数据库，所以在学习的过程要结合这些内容一起来实践，并调试对应的代码。
Kettle整合Hive
Knight
03-20 1794
目录一.kettle与Hive整合数据准备从hive中读取数据把数据保存到hive数据库执行Hive的HiveSQL语句 一.kettle与Hive整合 1、从虚拟机下载Hadoop的jar包 /export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar 2、把jar包放置在\data-integration\lib目录下 3、重启kettle，重新加载生效 关掉之前打开的kettle重新启动！！ 数据准备 1、连接hiv
一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑，亲测有效)
tiantang2renjian的博客
04-12 2145
Kettle8.2.0连接Hive3.1.2
Hive进行ETL
MrGrant.blog
06-08 1万+
一、数据清洗介绍 二、Hive数据清洗 1.本文使用的是一数据集为user.zip，包含了一个大规模数据集raw_user.csv（包含2000万条记录），和一个小数据集small_user.csv（只包含30万条记录）。小数据集small_user.csv是从大规模数据集raw_user.csv中抽取的一小部分数据。之所以抽取出一少部分记录单独构成一个小数据集，是因为，在第一遍跑通整个实验流...
Kettle与Hadoop（一）Kettle简介
wzy0623的专栏
05-26 3860
目录 一、Kettle设计原则 二、转换 1. 步骤 2. 转换的跳 3. 并行 4. 数据行 5. 数据转换 （1）Date和String的转换 （2）Numeric和String的转换 （3）其它转换 三、作业 1. 作业项 2. 作业跳 3. 多路径和回溯 4. 并行执行 5. 作业项结果 四、转换或作业的元数据 五、数据库连接 1. 一般选项 2. 特殊选项 3. 关系数据库的力量 4. 连接和事务 5. 数据库集群 六、工具 七、资源库 八、虚拟
kettle对大数据做ETL
mzn458的博客
04-01 674
存储
大数据ETL工具 Kettle 入门实践.docx
11-12
大数据ETL工具 Kettle 入门实践.docx
ETL工具Kettle用户手册5.0,开源etl工具kettle,Java
09-10
ETL工具Kettle用户使用手册5.0 pdf教程
Kettle构建Hadoop ETL实践（一）：ETL与Kettle
微信搜：import_bigdata，大数据领域硬核原创作者
11-28 2111
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！‍‍‍‍‍‍‍‍‍‍‍‍‍目录一...
kettle5.3批量插入impala
热门推荐
1032851561的博客
06-11 1万+
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I......
配置Kettle连接大数据HDFS
qq_58476985的博客
06-14 1416
如果需要使用HBase集群，hbase-site.xml文件也需要替换。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。3. Kettle连接HDFS需要替换的Hadoop文件。1.Hadoop集群,版本：Hadoop3.3.0。3.MySQL服务器，版本：mysql5.7.37。（解压命令：*.zip 用 unzip 解压）三．配置Kettle连接MySQL。Kettle对接大数据平台的配置。四、配置Kettle连接HDFS。二．修改Kettle配置文件。
10分钟数仓实战之kettle整合Hadoop
搞数据
12-12 1374
很多朋友在做数仓的ETL的动作的时候，还是喜欢比较易上手的kettle前面章节有介绍过安装kettle，可以参考kettle在Windows系统中对数据的转换、表和文件的转换等，都相对简单，而在对大数据平台进行操作的时候，需要先配置相关参数，本节进行kettle整合Hadoop。
Kettle连接HiveServer2配置和常见问题解决
xingchensuiyue的博客
11-10 1170
Kettle版本：pdi-ce-8.2.0.0-342.zip Hive版本：apache-hive-2.3.0-bin.tar.gz Hadoop版本：hadoop-2.7.3.tar.gz Kettle关于Hadoop生态圈组件连接配置基本都在data-integration\plugins\pentaho-big-data-plugin目录下，如图： 其中plugin.properties配置文件中有两个主要参数： （1）active.hadoop.configuration # The Hadoo
Kettle与Hadoop（二）Kettle安装配置
wzy0623的专栏
05-28 2729
目录 一、安装Java 二、安装Kettle 三、运行Kettle程序 1. 安装Linux图形环境 2. 安装配置VNC Server 3. 在客户端使用vncviewer连接系统 4. 执行spoon.sh 四、给Spoon创建一个桌面快捷启动方式 五、配置 1. 配置文件和.kettle目录 （1）.spoonrc （2）jdbc.properties （3）kettle.properties （4）kettle.pwd （5）repositories.xml （6）s
【ETL工具】Sqoop exoprt 实战避坑（parquet格式 ，columns 参数详解）
康师傅没有眼泪
09-29 7466
1.对于 hive Parquet+Snappy 格式的数据导出 ，使用 hcatalog 参数， 如果不使用 ，可以采用 另外一种方式解决，将 Hive 表数据查询出来放到 HDFS 临时目录，然后 get 到 本地，使用 MySQL load file 方式，这种方式 显然比较麻烦，但SQL 对表字段内容处理支持很好，更灵活。2.Sqoop export 中 columns 参数 可以让 Hive表中的字段 和MySQL 表中的字段对应，如果 Hive导入的 某个字段缺少，则默认给 NULL。
etl工具kettle
最新发布
12-23
Kettle是一种ETL工具，它允许你管理来自不同数据库的数据，并通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle可以被归类为可视化编程语言(VPL)，因为它可以使用图形化的方式定义复杂的ETL程序和工作流。 以下是Kettle的一些特点和功能： 1. 数据抽取：Kettle可以从各种数据源中抽取数据，包括关系型数据库、文件、Web服务等。 2. 数据转换：Kettle提供了丰富的转换步骤，可以对抽取的数据进行清洗、转换和整合。 3. 数据加载：Kettle可以将转换后的数据加载到目标数据库或文件中。 4. 图形化界面：Kettle提供了一个直观的图形化用户界面，使用户可以通过拖放和连接步骤来构建ETL流程。 5. 调度和监控：Kettle支持任务调度和监控，可以自动执行ETL作业，并提供详细的日志和统计信息。 6. 扩展性：Kettle提供了丰富的插件和API，可以根据需要扩展和定制功能。 通过Kettle，你可以轻松地构建复杂的ETL流程，处理和管理不同数据库的数据。它的图形化界面使得ETL开发变得更加直观和易于理解。同时，Kettle还提供了丰富的转换步骤和功能，可以满足各种数据处理需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿龙先生啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值