Kettle
没去过埃及的法老
偶尔更新
展开
-
【Kettle】作业和参数的使用
介绍大多数ETL项目都需要完成各种各样的操作,例如何传送文件 验证数据库表是否存在,等等,而这些操作都是按照一定顺序完成,Kettle中的作业可以串行执行转换来处理这些操作。Job Item(作业项)作业项是作业的基本构成部分。如同转换的组件,作业项也可以用图标的方式展示。Job Hop(作业跳)Job Hop是作业项之间的连接线,定义了作业的执行路径,作业里每个作业...原创 2020-05-05 21:35:58 · 546 阅读 · 0 评论 -
【Kettle】 Javascript脚本组件
介绍1.Kettle中可以通过脚本完成一些复杂的操作2.javascript脚本就是使用javascript语言通过代码编程来完成对数据流的操作3.JS中有很多内置函数,可以在编写JS代码时查看,存在两种不同的模式不兼容模式和兼容模式 不兼容模式:是默认的,也是推荐的 兼容模式:兼容老版本的kettle对比不兼容模式与兼容模式的差别:实操需求:生成日期维度数...原创 2020-05-05 21:28:04 · 4719 阅读 · 0 评论 -
【Kettle】连接控件(笛卡尔积 记录集连接)
需求:从Excel读取两位和三位数,完成两位数和三位数的组合(笛卡尔积),把结果保存在Excel拖入两个Excel输入组件、记录关联连接组件、一个Excel输出组件,并连接各个组件配置 Excel输入组件配置记录关联连接组件配置 Excel输出组件点击三角形箭头执行记录集连接 (内连接)记录集连接...原创 2020-05-05 21:11:23 · 1297 阅读 · 0 评论 -
【Kettle】流程控件的使用(switch 过滤记录)
switch(流程控件)switch/case组件让数据流从一路到多路。需求:从 user.json 输入读取数据,按sex进行数据分类, 把女性、男性分别保存不同的Excel文件里 面。 0表示男性 1表示女性拖入一个 JSON输入组件、switch/case流程组件、两个Excel输出组件配置 JSON输入组件配置switch/ca...原创 2020-05-05 20:58:59 · 2378 阅读 · 0 评论 -
【Kettle】逻辑转化组件使用(值映射 增加序列 字段选择)
值映射值映射就是把字段的一个值映射成其他的值 在数据质量规范上使用非常多需求把json中的gender中的数据进行改变。0变为男,1变为女,2变为保密拖入一个 JSON输入组件、一个值映射转换组件、一个Excel输出组件,连接三个组件配置 JSON输入组件配置值映射转换组件配置Excel输出组件点...原创 2020-05-05 20:51:18 · 1863 阅读 · 0 评论 -
【Kettle】整合Hive进行操作
前言现在我们来讲讲kettle如何整合hive进行操作准备环境开启hiveserver2服务cd /export/servers/hive-1.1.0-cdh5.14.0 nohup bin/hive --service hiveserver2 &连接hivehive创建并切换数据库create database test; use...原创 2020-05-05 15:52:24 · 731 阅读 · 0 评论 -
【Kettle】集成大数据进行操作
准备大数据环境从hadoop下载核心配置文件sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml把hadoop核心配置文件放入kettle目录data-inte...原创 2020-05-04 21:04:58 · 543 阅读 · 0 评论 -
【Kettle】将数据从mysql写入到hive中
前言我们设想有一个场景,需要从把数据从mysql写入到hive中,这样大家就可以用到这篇文章的内容,话不多说直接看下面的操作。业务流程图创建一个作业把流程配置好创建mysql表及其数据创建一个转换进行数据处理及写入根据业务需求来写需要的业务获取mysql的表的数据字段选择按照需求设置,这里我们的需求...原创 2020-05-04 20:49:05 · 1018 阅读 · 0 评论 -
【Kettle】 数据转换的基本操作
前言我们在真实的业务场景中经常会遇到一些数据的操作,今天我就来介绍一下kettle这款ETL工具的基本操作csv - excel在Kettle中新建转换拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件配置CSV输入组件1.选择要进行导入的CSV数据源2. 点击 「获取字段」,读取CSV中的列3.点击 「预览」,浏览C...原创 2020-05-04 20:37:03 · 1336 阅读 · 0 评论