若兰幽竹

Kettle5.4格式化日志（预处理）实验环境及配置一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果实验环境及配置版本：hadoop-2.7.3模式：伪分布式网络模式：NAT虚拟机ip：192.168.215.135（读者根据自己得实际情况修改）虚拟机主机名称：hadoop001虚拟机内存：4Gkettle版本5.4（由于虚拟机内存有限，尽量使用低版本的）kettle环境安装及配置（参考之前的博客）一、任务说明测试数据：电商日志weblogs_r

Kettle5.4统计各部门工资总额实验环境及配置一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果实验环境及配置版本：hadoop-2.7.3模式：伪分布式网络模式：NAT虚拟机ip：192.168.215.135（读者根据自己得实际情况修改）虚拟机主机名称：hadoop001虚拟机内存：4Gkettle版本5.4（由于虚拟机内存有限，尽量使用低版本的）kettle环境安装及配置（参考之前的博客）一、任务说明利用Kettle设计实现求出各个部分员

@[TOC](kettlet5.4提交MapReduce程序出现log4j:ERROR setFile(null,true) call failed.问题解决)一、问题描述当在kettle中设计好mapreduce程序后，运行提交程序到Hadoop集群，在kettle这边提升都是执行成功的，但是在Hadoop的yarn web页面（即访问hadoop001:8088端口）会看到程序一直处于RUNNING状态，查看日志后，发现如下的错误：log4j:ERROR setFile(null,true) c

Kettle8.2实现MapReduce入门程序WordCount一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果一、任务说明利用Kettle设计实现WordCount的MapReduce程序，完成对文本词频的统计。测试数据：I love GuiyangI love GuizhouGuiyang is the capital of Guizhu二、设计转换和作业设计mapper的转换设计reducer转换设计Job作业三、配置转换和作业

Kettle8.2脚本组件之SQL脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明SQL脚本组件说明：执行SQL脚本可以执行一个update语句，用来更新某个表中的数据。需求说明：从数据库表t_sys_users中获取所有的数据，把age的值都更改为18。测试数据源如下：读者需要先在MySQL中执行如下SQL语句初始化数据DROP TABLE IF EXISTS `t_sys_user`;CREATE TABLE `t_sys_user` (

Kettle8.2脚本组件之Java脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明Java脚本组件说明：java脚本就是使用java语言通过代码编程来完成对数据流的操作。内置了很多函数可以直接使用。java脚本主程序入口是processRow(）函数，其等价于main方法，processRow(）函数是用来处理数据流的场所！需求说明：从Excel中读取数据，生成newcode字段，如果code列为NULL就使用name列来替换，否则就在code列的后面加上1

Kettle8.2脚本组件之javascript脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明脚本组件说明：脚本就是直接通过程序代码完成一些复杂的操作。javascript组件说明：javascript脚本就是使用javascript语言通过代码编程来完成对数据流的操作。JS中有很多内置函数，可以在编写JS代码时查看。存在两种不同的模式：不兼容模式和兼容模式不兼容模式：是默认的，也是推荐的,如下表达式：myVar = FieldName;直接使用字段名

Kettle8.2映射组件一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明映射组件说明：映射是用来定义子转换，便于封装和重用。主要组件有映射（子转换）、映射输入规则、映射输出规则等。映射（子转换）组件说明：映射（子转换）是用来配置子转换，对子转换进行调用的一个步骤。映射输入规则组件说明：映射输入规范是输入字段，由调用的转换输入。映射输出规则组件说明：映射输出规范是向调用的转换输出所有列，不做任何处理。需求说明：从数据库中的edu_cours

Kettle8.2统计组件之分组一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明统计组件说明：统计是提供数据的采样和统计功能。分组组件说明：分组是按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并。注意：分组之前数据应该进行排序！需求说明：从数据库中的sys_user表读取数据，按照部门号group进行分组统计，把结果保存到Excel。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换

Kettle8.2应用组件之替换NULL和写日志一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明替换NULL组件说明：替换NULL值就是把null转换为其它的值。NULL值不好进行数据分析。写日志组件说明：写日志主要是在调试的时候使用，把日志信息打印到日志窗口。需求说明：从数据库中的sys_user表读取数据，将update_by字段为NULL的替换成admin，并将执行转换时的详细日志通过写日志组件向日志输出窗口打印出所有的数据信息。测试数据源和如

Kettle8.2流程组件之空操作和中止一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明空操作组件说明：空操作一般作为数据流的终点。（在kettle的sample中经常使用，但是实际开发中很少使用）中止组件说明：中止是数据流的终点，如果有数据到这里，将会报错。一般用于校验数据的时候使用。需求说明：从数据库中的sys_user表读取数据，根据update_by字段来过滤非空和空的数据，若是update_by字段为空，则中止；不为空，则什么都不操作，即空操作。

Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明过滤记录组件说明：过滤记录让数据流从一路到两路。需求说明：从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入流程： 过滤记录输出：Excel输出、Microsoft Excel输出三、

Kettle8.2流程组件之Switch case一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明流程组件说明：流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。Switch case组件说明：Switch/case让数据流从一路到多路。需求说明：从数据库中的sys_user表读取数据，按照部门号将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入

Kettle8.2连接组件之记录集连接一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。记录集连接组件说明：记录集连接就像数据库的左连接、右连接、内连接、外连接。注意： 在进行记录集连接之前，应该要对记录集进行排序。需求说明：从数据库中的sys_user表和sys_dept中读取数据，进行内关键，左关联，右关联，全关联，把数据保存到Excel。测试数据源和如下博文中的数据源是一样的：Kettle8.2

Kettle8.2连接组件之记录关联（笛卡尔积）一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。记录关联（笛卡尔积）组件说明：记录关联就是对两个数据流进行笛卡尔积操作。需求说明：从数据库中的t_test_user表中读取数据，再从数据库中t_table_out_user表读取数据，将两表数据进行记录关联（笛卡尔积），保存到Excel中。测试数据源和如下博文中的数据源是一样的：Kettle8.2连接组件之

Kettle8.2连接组件之合并记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。合并记录组件说明：合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源：新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。“identical

Kettle8.2查询组件之流查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：流查询在查询前把数据都加载到内存中，并且只能进行等值查询。需求说明：从A数据库中的sys_dept表中读取数据，在从从B数据库中sys_user表查询数据，然后根据dep_id获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句及数据参考如下博文：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入（两个步骤）

Kettle8.2查询组件之数据库连接一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：数据库连接可以执行两个数据库的查询，和单参数的表输入。需求说明：从A数据库中的sys_dept表中读取数据，根据dep_id从B数据库中sys_user表获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句及数据参考如下博文：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入查询： 数据库连

Kettle8.2查询组件之数据库查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：数据库查询就是数据库里面的左连接。左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。需求说明：从sys_user表中读取数据，根据dep_id从sys_dept表获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句如下：sys_user表:CREATE TABLE `sys_user` ( `use

Kettle8.2查询组件之HTTP Client一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明查询组件说明：查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。需求说明：从网络上获取xml，解析出ProductID、ProductName、SupplierID、CategoryID，保存到数据库表中。数据源如下：请求地址：http://services.odata.org/V3/Northwind/Northwind.svc/

Kettle8.2转换组件之行扁平化一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel读取数据，把数据进行行扁平化处理，存储在Excel。数据源如下：期望目标如下：行扁平化组件说明：行扁平化就是把同一组的多行数据合并成为一行。注意：只有数据流的同类数据、数据行记录一致的情况才可使用！数据流必须进行排序，否则结果会不正确！二、设计转换输入：Excel输入转换： 排序记录、行扁平化输出：Microsoft

Kettle8.2转换组件之行转列一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel读取数据，把星期工作小时行转为星期列和工作小时列，把数据保存到Excel。数据源如下：期望目标如下：行转列组件说明：行转列就是把数据字段的字段名转换为一列，把数据行变为数据列。二、设计转换输入：Excel输入转换： 行转列输出：Microsoft Excel输出三、转换配置Step1：Excel输入组件配置双击组

Kettle8.2转换组件之列转行一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel中读取数据，按照姓名进行分组，把星期、工作小时从列转为行，并保存在Excel中。数据源如下：期望目标如下：列转行组件说明：列转行就是如果数据一列有相同的值，按照指定的字段，把多行数据转换为一行数据。去除一些原来的列名，把一列数据变为字段。注意： 列转行之前数据流必须进行 排序！二、设计转换输入：Excel输入转换： 排序记录、

Kettle8.2转换组件之拆分字段一、相关说明二、设计转换三、转换配置四、运行转换五、查看结果一、相关说明需求说明：从数据库表读取数据，将name字段内容拆分为first_name和last_name，并把结果数据保存在数据库目标表中。数据源（数据库中表数据）：建表语句及插入数据语句，如下：CREATE DATABASE /*!32312 IF NOT EXISTS*/`itcollege` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLAT

Kettle8.2转换组件之排序与去除重复记录一、相关说明二、设计转换三、转换配置四、运行转换五、查看结果一、相关说明需求说明：从Excel读取数据，去除其中重复的字段，并把结果数据保存在数据库表中。排序记录组件说明：排序记录是按照指定的字段的升序或降序对数据流排序。去除重复记录组件说明：去除重复记录是去除数据流里面相同的数据行。注意： 必须先对数据流进行排序！二、设计转换输入：Excel输入转换： 排序记录、去除重复记录输出：表输出三、转换配置Step1：Exce

Kettle8.2转换组件之计算器一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel中读取数据，获取title的首位字符，生成title_begin字段，把description中的1111替换为itheima生成desc字段，去除author两边的空格，字符变大写，生成author_update，保存到Excel。剪切字符串组件说明：剪切字符串是指定输入流字段裁剪的位置剪切出新的字段。字符串组件说明字符串替换是指定搜索内容和替换内容，

Kettle8.2转换组件之计算器一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel读取数据，将其中一些字段进行计算成目标数值，并把结果数据保存在Excel中。计算器组件说明：计算器是一个函数集合来创建新的字段，还可以设置字段是否移除（临时字段）。实验要求：从Excel读取数据，将其中一些字段进行计算成目标数值，并把结果数据保存在Excel中。二、设计转换输入：Excel输入转换： 计算器输出：Microsoft Excel输出

Kettle8.2转换组件之字段选择一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从mysql数据库表中读取数据，由于原表中的字段不符合实际的字段，因此需要将数据库表中读取的数据字段进行更改成为目标字段，并把数据保存在Excel中。字段选择组件说明：字段选择是从数据流中选择字段、改变名称、修改数据类型。实验要求：从MySQL读取数据，修改其中几个字段（即将id改成目标字段key,将sex改成目标字段gender，将mobile改成目标字段telphone

Kettle8.2转换组件之增加序列一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel读取数据，增加一个新列id值从1开始递增，把数据保存在Excel中。增加序列组件说明：增加序列是给数据流添加一个序列字段，即就是在本身的数据流里面添加一列数据，实验要求：从Excel读取数据，增加一个新列id值从1开始递增，把数据保存在Excel中。二、设计转换输入：Excel输入转换： 增加序列输出：Microsoft Excel输出三、转

Kettle8.2转换组件之增加常量一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明：从Excel读取数据，增加一个新列language值为en，把数据保存在Excel中。增加常量组件说明：增加常量就是在本身的数据流里面添加一列数据，该列的数据都是相同的值。这个类似于输入组件中的生成记录，都可以增加一个常量维度数据。实验要求：从Excel读取数据，增加一个新列language值为en，把数据保存在Excel中。二、设计转换输入：Excel输入转换

Kettle8.2转换组件之值映射一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明： 从Excel中获取FirstName和LastName并把FirstName和LastName连接起来，输出到Excel。值映射组件说明：值映射就是把字段的一个值 映射成其他的值。在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义不同。系统1：1 男、2女系统2：f 男、m 女数据仓库统一为：female 男、male女实验要求：从Excel中读取数

Kettle8.2转换组件之Concat fields一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明需求说明： 从Excel中获取FirstName和LastName并把FirstName和LastName连接起来，输出到Excel。Concat fields组件说明： Concat fields就是多个字段连接起来形成一个新的字段。二、设计转换三、转换配置Step1：Excel输入组件配置双击组件，写上步骤名称等选择字段,获取字段，选择字段类型，如

Kettle8.2输出组件之删除前置知识回顾一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析前置知识回顾MySQL表delete语句自定义常量的作用及基本使用方法一、需求说明需求说明： 利用自定义常量组件定义一些条件，根据该条件删除MySQL数据库中符合条件的某张表的数据。自定义常量组件说明： 自定义常量数据就是生成key-value形式的常量数据。删除组件说明： 删除就是删除数据库表中指定条件的数据。MySQL中数据库表的内容如下：实验要求： 从mysql数据库表中

Kettle8.2输出组件之更新前置知识回顾一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析前置知识回顾MySQL表更新语句Excel输入组件的使用注意事项：读取Excel文档时需保证被读取的Excel处于不被其他软件打开的状态一、需求说明需求说明： 利用Excel输入组件读取现存的Excel文档中内容，将其更新到MySQL数据库中的某张表中。更新组件说明：更新就是把数据库已经存在的记录与数据流里面的记录进行比对，如果不同就进行更新。注意：如果记录不存在，则会出现错误！

Kettle8.2输出组件之更新前置知识回顾一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析前置知识回顾MySQL表更新语句Excel输入组件的使用注意事项：读取Excel文档时需保证被读取的Excel处于不被其他软件打开的状态一、需求说明需求说明： 利用Excel输入组件读取现存的Excel文档中内容，将其更新到MySQL数据库中的某张表中。更新组件说明：更新就是把数据库已经存在的记录与数据流里面的记录进行比对，如果不同就进行更新。注意：如果记录不存在，则会出现错误！

Kettle8.2输出组件之表输出前置知识回顾一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析前置知识回顾MySQL表创建语句Get data from XML组件的使用Xpath语言基本用法一、需求说明需求说明： 利用Get data from xml组件解析xml文档，从中取出目标数据，然后将目标数据通过表输出组件将目标写入到MySQL一张新的表中要求：从xml文件中提取testDescription、rowID、v1、v2数据保存到excel中数据源：

Kettle8.2输出组件之SQL文件一、需求说明二、设计转换三、转换配置四、运行转换一、需求说明需求说明： 从数据库表中把数据导出到sql文件中。二、设计转换三、转换配置Step1：表输入配置双击组件，写上步骤名称，具体配置可以查看表输入博文SQL文件输出组件配置双击打开，设置步骤名称，如SQL-Output选择输出文件所在路径，选择目标表，可以设置其他的内容，具体如下：四、运行转换结果如下：...

Kettle8.2输入组件之多文件合并一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析一、需求说明需求说明： 数据往往也是以多个文件的形式出现，有的数据还会分散在多个子文件夹。所以合并数据也是开发中非常常见的操作。需求分析： 故该案例中可以简单使用Excel组件进行转换与Excel输出组件进行测试即可要求： 读取input目录下以04多文件合并开头的所有Excel数据合并到一个Excel数据源： 下载后解压缩放在某个文件夹下即可https://download.csdn.net/d

Kettle8.2输入组件之Get data from xml前置知识回顾一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析前置知识回顾xml数据格式Xpath语法XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。一、需求说明需求说明： 当从其他如WebService接口获取到的xml格式的数据时，需要将xml格式数据存入数据库表中，故

Kettle8.2输入组件之JSON Input一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析一、需求说明需求说明： 当从其他接口获取到的JSON格式的数据时，需要将JSON格式数据存入数据库表中，故借助JSON Input组件进行转换需求分析： 故该案例中可以简单使用JSON Input组件进行转换与Excel输出组件进行测试即可数据源：https://download.csdn.net/download/sujiangming/16189912数据源格式：