- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kettle与Hadoop（三）连接Hadoop
目录一、环境说明二、连接Hadoop集群三、连接Hive四、连接Impala五、后续（建立MySQL数据库连接） Kettle可以与Hadoop协同工作。让我们从简单的开始，本文介绍如何配置Kettle访问Hadoop集群（HDFS、MapReduce、Zookeeper、Oozie等），以及Hive、Impala等数据库组件。所有操作都以操作系统的root用户执行。一、环境说明1. Hadoop 已经安装好4个节点的CDH 6.3.1，IP地...
2020-05-28 16:04:06
5453
3
原创 Kettle与Hadoop（二）Kettle安装配置
目录一、安装Java二、安装Kettle三、运行Kettle程序1. 安装Linux图形环境2. 安装配置VNC Server3. 在客户端使用vncviewer连接系统4. 执行spoon.sh四、给Spoon创建一个桌面快捷启动方式五、配置1. 配置文件和.kettle目录（1）.spoonrc（2）jdbc.properties（3）kettle.properties（4）kettle.pwd（5）repositories.xml（6）s
2020-05-28 10:36:06
2898
原创 Kettle与Hadoop（一）Kettle简介
目录一、Kettle设计原则二、转换1. 步骤2. 转换的跳3. 并行4. 数据行5. 数据转换（1）Date和String的转换（2）Numeric和String的转换（3）其它转换三、作业1. 作业项2. 作业跳3. 多路径和回溯4. 并行执行5. 作业项结果四、转换或作业的元数据五、数据库连接1. 一般选项2. 特殊选项3. 关系数据库的力量4. 连接和事务5. 数据库集群六、工具七、资源库八、虚拟
2020-05-26 14:59:08
4038
1
原创 Kettle工具——Spoon、Kitchen、Pan、Carte
目录1. Spoon2. Kitchen和Pan（1）命令行参数（2）例子3. Carte Kettle里有不同的工具，用于ETL的不同阶段。主要工具如下：Spoon：图形化工具，用于快速设计和维护复杂的ETL工作流。 Kitchen：运行作业的命令行工具。 Pan：运行转换的命令行工具。 Carte：轻量级的（大概1MB）Web服务器，用来远程执行转换或作业，一个运行有Carte进程的机器可以作为从服务器，从服务器是Kettle集群的一部分。1. Spoo...
2020-05-25 10:39:42
8496
1
原创 Kettle数据库连接中的集群与分片
目录1. 在数据库连接中使用集群2. 创建数据库分区schemas3. 启用数据库分区4. 例子（1）将三个mysql实例的数据导入到另一个mysql实例（2）将一个mysql实例的数据分发到三个mysql实例（3）将三个mysql实例的数据导入到另三个mysql实例（4）将三个mysql实例的数据导入相同实例的不同表中 本文介绍Kettle 8.3中数据库分区的使用。1. 在数据库连接中使用集群 在Kettle的数据库连接对话框中，可...
2020-05-21 17:22:49
2038
原创 彻底搞清 Kettle 数据分发方式与多线程
Kettle转换中，各步骤之间行集（row set）的发送有分发和复制两种方式，本文讨论这两种方式的区别，以及它们与Kettle多线程的关系。我们用一个简单的例子辅助说明，Kettle版本为8.3。定义一个转换，以t1表作为输入，输出到表t2和t3。t1表中有1-10十个整数。当创建第二个跳（hop）时，会弹出一个警告窗口，如图1所示。图1 表输入步骤将向两个表输出步骤发送数据行，此时可以选择采用分发或复制两种方式之一，缺省为复制方式。分发方式执行后，t2、t3表的数...
2020-05-20 16:58:50
6255
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人