kettle
archer.wu
当你的才华还撑不起你的野心的时候,就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
kettle 中kitchen和pan的使用
kettle 中kitchen和pan的使用kettle中有四个主要的部件分别是作业、转换、步骤、跳。其中作业和转换能够相互调用执行。每一个转换中的一个执行单元叫做步骤,连接步骤之间的线叫做跳。在linux中我们通常使用kitchen和pan执行作业和转换。kitchen用来执行作业,pan用来执行转换。具体语法如下:./kitchen.sh /file:/data/jobna原创 2017-03-29 17:04:00 · 7438 阅读 · 0 评论 -
kettle 映射的使用——对自定义参数处理
kettle 映射的使用——对自定义参数处理kettle中能够传递自定义的参数,同时每个参数能够通过javascript进行转换,下面介绍一下 如何使用。首先需要建立一个转换,转换中定义一个映射(位置就在左侧的映射中),映射中是对参数转换的一个过程。其中输入的具体设置如下:add的具体内容:做完上述的操作后,保存这个转换,然后再建立一个原创 2017-03-31 15:22:38 · 8355 阅读 · 0 评论 -
kettle 生成分页序号
kettle 生成分页序号kettle能够自定义参数,对参数进行计算和映射(http://blog.csdn.net/wild46cat/article/details/68925653)。但是生成的参数都是有个数限制的。也就是需要在设置参数的时候指定行数,然后再下一个步骤中按行来取这些值来使用,如下图就是一个两行的例子。如果现在需要生成每个页的页数,然后再sql中当做参数原创 2017-03-31 16:21:37 · 3168 阅读 · 0 评论 -
kettle 参数——变量参数和常量参数
kettle 参数——变量参数和常量参数kettle中经常需要对sql语句进行处理,处理的时候免不了需要传递参数。下面就介绍一下kettle传递参数的两种方式,一种是常量传递,一种是变量传递。好,下面上货。一、首先介绍常量传递参数。常量传递参数需要用到下面的组件:这个组件的位置是在输入中。双击设置自定义数据的名称和数据,然后使用线连接到下一个步骤即可原创 2017-04-01 11:06:02 · 24633 阅读 · 14 评论 -
kettle 设置转换并行运行
kettle 设置转换并行运行在执行不相关的转换时,可以并行执行转换。如下图:设置完成后能够实现两个转换同时并发执行。原创 2017-04-05 09:42:55 · 21389 阅读 · 3 评论 -
kettle连接cdh——读取hdfs中的数据
目前pentaho——kettle已经到了8.1的版本了,本文主要介绍如何利用kettle进行大数据处理。好,下面上货。1、下载shims,简单的说这个shim可以理解成针对不同cdh的版本的插件,具体下载地址在这里:我用的是cdh510.https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/ 在下载的时候...原创 2018-12-03 00:16:55 · 4454 阅读 · 1 评论 -
kettle写入hadoop中——AccessControlException
本文主要介绍如何通过kettle写入到hdfs中,同时提供一个简单的demo。好,下面上货。1、新建一个转换,如下图:2、执行转换,查看结果: uuid;uuid2a2d5022e-0ace-4978-bc01-82a46025078f;515n2b280cij75cdf9c28-e587-43ea-a470-8653ebf4f635;1ccujkgiu3vdv1b...原创 2018-12-04 08:10:14 · 1360 阅读 · 0 评论