使用kettle处理HDFS上的数据并写回HDFS

VIP文章 已于 2024-05-21 14:59:21 修改
阅读量594 收藏 6
点赞数 1
分类专栏： 数据处理 文章标签： hdfs ubuntu hadoop
于 2022-07-07 11:36:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44807756/article/details/125655647
版权

使用kettle处理HDFS上的数据并写回HDFS

⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计3697字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
⏰个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

一、任务描述

本实验任务主要完成基于ubuntu环境的使用kettle处理HDFS上的数据并写回HDFS的工作。通

最低0.47元/天 解锁文章
不懂开发的程序猿
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Kettle将数据导入导Hive2
01-07
前言        本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop file output      新建hadoop cluster连接      从集群里下载core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml      覆盖kettle的plugins\pentaho-big-data-plugin\hadoop-co
kettle管理平台
05-10
KettlePack是一个基于Kettle9（兼容Kettle8及其他版本）的web端调度监控管理平台，专门用来调度和监控由Kettle客户端创建的Job和Transformation，安装使用简单方便，并拥有完善的帮助文档和在线支持，目前基本可以支持所有的组件，包括大数据组件（hbase、hive、hdfs等）。
kettle5.3连接hdfs、hbase、kettle5.2源码编译
05-26
本文档详细描述了kettle5.3连接hdfs，kettle5.3连接hbase，kettle5.2的源码编译。
pentaho-big-data-kettle-plugins-hdfs-7.0.0.2-52.jar
02-26
java运行依赖jar包
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
配置Kettle连接大数据HDFS
qq_61203814的博客
06-10 1131
进入 /home/hadoop/software/hadoop-3.3.0/etc/hadoop目录下，把core-site.xml,mapred-site.xml,yarn-site.xml 三个文件拷贝到 /home/hadoop/software/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp24 路径下。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。（5）启动kettle。
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
tiantang2renjian的博客
05-09 2540
Kettle采集Kafka数据到HDFS
【ETL工具】Kettle 整合大数据平台（Hadoop、Hive、HBase）
康师傅没有眼泪
02-14 5485
目录一、Kettle整合Hadoop1、 整合步骤2、Hadoop file input组件3、Hadoop file output组件二、Kettle整合Hive1、初始化数据2、 kettle与Hive 整合配置3、从hive 中读取数据4、把数据保存到hive数据库5、Hadoop Copy Files组件6、执行Hive的HiveSQL语句三、Kettle整合HBase1、HBase初始化2. HBase input组件3、HBase output组件环境 kettle 8.2 版本：kettle
大数据：Kettle导入数据到HDFS
金融科技和数据治理
07-15 5141
【参考文献】 1.kettle 从数据库表将数据写入 hadoop hdfs
kettle的使用介绍
09-01
本篇kettle的使用说明文档适合初入门的伙伴，配置mysql、hdfs、hive、hbase的连接测试使用。希望能帮助大家
10分钟数仓实战之kettle整合Hadoop
搞数据
12-12 1404
很多朋友在做数仓的ETL的动作的时候，还是喜欢比较易上手的kettle前面章节有介绍过安装kettle，可以参考kettle在Windows系统中对数据的转换、表和文件的转换等，都相对简单，而在对大数据平台进行操作的时候，需要先配置相关参数，本节进行kettle整合Hadoop。
【ETL工具】Kettle 实现 HDFS文件解析同步到SQLServer数据库（ETL 包括：时间格式化、IP校验、字段拼接）
康师傅没有眼泪
06-22 1133
说明：想用Kettle Shell 组件 做到 HDFS中 文件的移动 ，脚本的命令也很简单 ，mv将 加了 .completed 解析完成后的文件移动到 bak 目录，这块想用 kettle的 Shell 组件实现，另外一个思路是直接在 linux 做一个 定时的文件移动也是可以的。此处我的另外一个实现思路是在作业启动的脚本中开启 一个 linux的定时器 ，定时的 将 解析后的 HDFS 的 .completed 文件移动到 bak 目录，也在进一步改进中。就配置一个当前脚本的运行路径，就生效了。
kettle调用webservice接口数据回写
奋斗的阿杰的博客
03-31 602
kettle调用webservice接口数据回写
一百七十六、Kettle——Kettle配置HDFS输出控件能不能加GZIP等压缩方式?
tiantang2renjian的博客
09-13 542
Kettle配置HDFS输出控件能不能加GZIP等压缩方式?
kettle入门(三) 之kettle连接hadoop&hdfs图文详解
热门推荐
xiaohai798的专栏
12-11 6万+
最详细的kettle连接hadoop&hdfs图文教程
kettle9.0+ 连接Hadoop报错
x²＋(y－√³x²)²＝1的博客
06-03 1019
kettle bug
Kettle连接MySQL、HDFS、Hive
赵昕彧
04-08 3964
一、简介 hadoop版本：2.7.2 kettle（pdi）版本：8.3.0 使用方式：在windows上使用kettle连接到一台linux的hadoop。 二、操作 MySQL 1、将mysql-connector-java-XXX.jar拷贝到data-integration\lib目录下。 2、启动kettle，然后新建表输入，选择mysql，填入相应内容。 3、进行测试，如果没有问题则会成功。 HDFS 1、首先进入~\data-integration\plugins\pentaho-b.
kettle 从数据库表将数据写入 hadoop hdfs
cdmamata的专栏
02-24 1万+
kettle 作为一个 java 的开源 ETL 工具，支持的接入源与输出源很丰富， 下面测试简单的 数据库 table -> table -> hdfs 文件的写入。 简介：kettle 主目录分为作业和转换     转换： 用来配置ETL 链路信息，及工作方式。     作业： 用来启动和控制转换工作。 1. 安装环境     kettle 依赖于 java 环境，请安装好 Jav
kettle HDFS 删除文件
最新发布
12-13
在Kettle中删除HDFS文件可以通过使用Hadoop File Input和Hadoop File Output步骤来实现。具体步骤如下： 1. 添加Hadoop File Input步骤，配置HDFS连接信息和要删除的文件路径。 2. 添加一个过滤器步骤，将要删除的文件名添加到过滤器中。 3. 添加Hadoop File Output步骤，将过滤后的文件输出到一个新的目录中，从而达到删除文件的目的。 以下是一个删除HDFS文件的Kettle作业的范例： ```kettle <?xml version="1.0" encoding="UTF-8"?> <job> <name>Delete HDFS File</name> <description/> <extended_description/> <job_version>1.0</job_version> <job_status>0</job_status> <entry> <name>Hadoop File Input</name> <description/> <type>HadoopFileInput</type> <filename>${Internal.Transformation.Filename.Directory}/input.ktr</filename> <args> <arg> <name>source_configuration_name</name> <value>hdfs</value> <type>5</type> </arg> <arg> <name>source_file_folder</name> <value>/path/to/files</value> <type>1</type> </arg> <arg> <name>source_wildcard</name> <value>*</value> <type>1</type> </arg> <arg> <name>source_file_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_include_subfolders</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_field_name</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_filename</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_filename_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_field</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_by_group</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_fieldname</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_fieldtype</name> <value>Number</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_header</name> <value>Y</value> <type>5</type> </arg> <arg> <name>source_output_footer</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>unix</value> <type>1</type> </arg> <arg> <name>source_output_enclosure</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_delimiter</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_escape_character</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_row_separator</name> <value>\n</value> <type>1</type> </arg> <arg> <name>source_output_null_string</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_file_extension</name> <value>txt</value> <type>1</type> </arg> <arg> <name>source_output_servlet_output</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_if_file_exists</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_does_not_exist</name> <value>create_file</value> <type>1</type> </arg> <arg> <name>source_output_if_file_is_empty</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_size_is_zero</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_specify_date_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filenames</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_every</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_haspartno</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_date</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_time</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_specify_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_time_format</name> <value>yyyyMMdd</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filesname</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_pad</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_fast_dump</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_by_part_size</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_part_size</name> <value>1000000</value> <type>4</type> </arg> <arg> <name>source_output_encoding</name> <value>UTF-8</value> <type>1</type> </arg> <arg> <name>source_output_compress</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append_separator</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enable_encoding</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_forced</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_disabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_null</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_value</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_header_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_footer_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format_row_number</

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不懂开发的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值