使用Kettle从本地上传文件到远程HDFS

最新推荐文章于 2024-06-21 09:59:40 发布
最新推荐文章于 2024-06-21 09:59:40 发布
阅读量8.1k 收藏 13
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Post_Yuan/article/details/78182595
版权

在前面的文章中，我们描述了使用Kettle工具可以在实现关系型数据库之间的数据ETL，如Oracle->Trafodion，MySQL->Trafodion等，本文通过范例介绍如何使用Kettle将本地的文件上传至HDFS目录。

关于如何在Kettle中配置连接HDFS（以连接CDH为例），详情可参考Kettle官网之https://help.pentaho.com/Documentation/7.1/0H0/Set_Up_Pentaho_to_Connect_to_a_Cloudera_Cluster

本文在此通过一系列简单的步骤描述通过Kettle配置远程HDFS连接并实现简易版本的文件上传功能，若读者有需要，可根据实际需要在此基础上进行扩展。

1 Kettle新建作业（文件->新建->作业）并保存命名为copy_hdfs

2 从作业中新建Hadoop clusters（Hadoop clusters->New Cluster），并填写相应的内容，如下图
这里写图片描述

3 测试HDFS连接
这里写图片描述
注：以上截图测试Hadoop连接有部分失败，但由于本示例只涉及简单的文件上传功能，因此只要保证对应的配置(HDFS配置、Zookeeper配置)正确即可。

4 在作业中添加对应组件（Big Data->Hadoop Copy Files）
这里写图片描述

5 双击Hadoop Copy Files组件并配置源文件/目录及目标文件/目录
这里写图片描述

6 运行作业并检查文件是否上传成功
这里写图片描述

这里写图片描述

数据源的港湾
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kettle输出数据到hadoop 的hdfs 系统，错误总结
星月情缘的博客
10-16 6346
         最近自己在练习使用kettle时，想把MySQL中的数据同步到Hadoop中，就测试了一下，到最后发现怎么也连接不上hadoop集群，好不容易连接上了，结果文件又无法写入到指定的目录中，一直提示权限不够，很郁闷啊。最后终于解决了，分享一下心得。        1. kettle 安装在此不讲述，本文是以kettle 和Hadoop环境都已经部署好了，可以正常使用的环境。   ...
使用kettle上传文件到SFTP案例-附件资源
03-02
使用kettle上传文件到SFTP案例-附件资源
kettle将本机文件上传到HDFS
Charles_hdfs的博客
09-22 1720
kettle将本机文件上传到HDFS **1、**将NODE02的core-site.xml、hdfs-site.xml放入 data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510 data-integration——Kettle的安装路径 **2、**启动Kettle(即Spoon.bat)新建一...
用kettle设计ftp上传操作手册
07-12
利用kettle数据抽取工具，编写了一个输出文本数据兵上传到ftp服务器的操作手册
kettle从入门到精通 第七十二课 ETL之kettle 三谈http post（含文件上传），彻底掌握参数传递
最新发布
zhangjin1222的博客
06-21 938
4） 查看kettle 源码得知：Java 客户端发送文件时，使用的是直接将文件内容作为请求体的形式，而不是通过标准的文件上传方式，所以request.files 接收不到。2、http post请求参数放到form中，类似于html中的表单提交，Content-Type是application/x-www-form-urlencoded。那就把常用的方式都梳理下，搞定它。3、http post请求参数放到url中，这种方式不常见一般是get请求参数放到url中，Content-Type不限。
Kettle数据同步日常使用汇总及整理
06-06 3221
核心一点，最好就是变量的作用范围为当前作业，尤其对于费定时任务，有可能多个作业同时启动的，一定要将变量的作用范围设定在当前作业中，如果设置变量的操作是在一个转换中，然后一个作业进行调用这个转换，那么变量的作用范围就是parent-job，一般不选择整个JVM，具体情况，根据设定变量这个操作的位置不同，决定其作用范围的设置，，就需要在主作业中嵌套一个子作业，子作业中调用一个转换，转换的功能就是通过从子作业的上一步中获取结果信息，然后将信息设置成变量，变量的有效范围parent-job；
kettle入门(三) 之kettle连接hadoop&hdfs图文详解
热门推荐
xiaohai798的专栏
12-11 6万+
最详细的kettle连接hadoop&hdfs图文教程
大数据：Kettle导入数据到HDFS
金融科技和数据治理
07-15 5297
【参考文献】 1.kettle 从数据库表将数据写入 hadoop hdfs
kettle实现上传文件到FTP站点
11-10
kettle实现上传文件到FTP站点
Kettle从入门到精通
02-16
通过《Kettle从入门到精通》，读者将全面掌握Kettle的使用，无论是数据清洗、转换还是加载，都能游刃有余，为数据驱动的决策提供有力支持。无论你是数据分析师、开发人员还是运维工程师，这本书都将是你学习和应用...
Kettle上连接HDFS，同步虚拟机上MySQL数据到HDFS
06-16
Kettle连接HDFS，kettle连接虚拟机MySQL，MySQL数据同步到HDFS上，问题解决。
win7下借助kettle7.0在命令行界面将数据传输到hdfs
unlock的博客
01-04 760
 为什么写这系列博客的原因就是真的遇到的坑太多了，所以需要写下来，防止以后忘记，话不多说吗，直接进入主题 一、环境 kettle7.0，kettle是开源的etl工具（kettle7.0需要java8）,其优势在于可以使用图形化界面开发，开发完成后可以部署在linux或者windows平台 window7.0 大数据平台采用的是CDH，其余版本的haoop应该也是类似的 二、修改配置文件 ...
Kettle与Hadoop（三）连接Hadoop
wzy0623的专栏
05-28 5375
目录 一、环境说明 二、连接Hadoop集群 三、连接Hive 四、连接Impala 五、后续（建立MySQL数据库连接） Kettle可以与Hadoop协同工作。让我们从简单的开始，本文介绍如何配置Kettle访问Hadoop集群（HDFS、MapReduce、Zookeeper、Oozie等），以及Hive、Impala等数据库组件。所有操作都以操作系统的root用户执行。 一、环境说明 1. Hadoop 已经安装好4个节点的CDH 6.3.1，IP地...
【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver
lisacumt的专栏
01-02 1507
pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver。含hadoop conf和kerberos认证工具类。
ETL-kettle踩坑：从Cassandra到HDFS
数据之美的博客
04-24 2052
kettle是一个开源的ETL工具，基于java，在windows和linux上都可以解压后直接使用。最近在用kettle从Cassandra向hdfd抽取数据的时候，遇到不少问题，特此记录一下。 版本信息： java: 1.8 kettle: kettle-8.2.0.0-342 hadoop： 2.7.3 配置kettle 进入kettle以后，选择主对象树 -> ...
Kettle部署与使用
qq_45260724的博客
06-12 3393
Kettle
使用kettle上传文件HTTP post案例
qq_35312979的博客
06-15 5191
1.从网站下载kettle，下载 2.解压后可直接运行spoon.bat 3.打开界面后新建转换，并且配置数据库连接 4.在右边的核心对象里面输入下面找到表输入后拖出来如图所示效果 5.双击拖出来的表输入，填入sql查询语句 ![在这里插入图片描述 6.文件内容加载至内存 7.JavaScript代码 文件内容转为Base64 8.通过HTTP post上传文件 9.JSON input 接受api接口操作返回得值 ，成功就更新当前数据状态 ...
kettle数据迁移
hai ai的博客
02-18 1701
kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。 1、文档 https://pentaho-community.atlassian.net/wiki/spaces/EAI/pages/371557269/Pentaho+Data+Integration+Kettle+Tutorial 2、社区版下载 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 3、运行Spoon.bat，打开Spoon
kettle HDFS 删除文件
12-13
在Kettle中删除HDFS文件可以通过使用Hadoop File Input和Hadoop File Output步骤来实现。具体步骤如下： 1. 添加Hadoop File Input步骤，配置HDFS连接信息和要删除的文件路径。 2. 添加一个过滤器步骤，将要删除的文件名添加到过滤器中。 3. 添加Hadoop File Output步骤，将过滤后的文件输出到一个新的目录中，从而达到删除文件的目的。 以下是一个删除HDFS文件的Kettle作业的范例： ```kettle <?xml version="1.0" encoding="UTF-8"?> <job> <name>Delete HDFS File</name> <description/> <extended_description/> <job_version>1.0</job_version> <job_status>0</job_status> <entry> <name>Hadoop File Input</name> <description/> <type>HadoopFileInput</type> <filename>${Internal.Transformation.Filename.Directory}/input.ktr</filename> <args> <arg> <name>source_configuration_name</name> <value>hdfs</value> <type>5</type> </arg> <arg> <name>source_file_folder</name> <value>/path/to/files</value> <type>1</type> </arg> <arg> <name>source_wildcard</name> <value>*</value> <type>1</type> </arg> <arg> <name>source_file_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_include_subfolders</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_field_name</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_filename</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_filename_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_field</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_by_group</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_fieldname</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_fieldtype</name> <value>Number</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_header</name> <value>Y</value> <type>5</type> </arg> <arg> <name>source_output_footer</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>unix</value> <type>1</type> </arg> <arg> <name>source_output_enclosure</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_delimiter</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_escape_character</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_row_separator</name> <value>\n</value> <type>1</type> </arg> <arg> <name>source_output_null_string</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_file_extension</name> <value>txt</value> <type>1</type> </arg> <arg> <name>source_output_servlet_output</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_if_file_exists</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_does_not_exist</name> <value>create_file</value> <type>1</type> </arg> <arg> <name>source_output_if_file_is_empty</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_size_is_zero</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_specify_date_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filenames</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_every</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_haspartno</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_date</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_time</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_specify_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_time_format</name> <value>yyyyMMdd</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filesname</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_pad</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_fast_dump</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_by_part_size</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_part_size</name> <value>1000000</value> <type>4</type> </arg> <arg> <name>source_output_encoding</name> <value>UTF-8</value> <type>1</type> </arg> <arg> <name>source_output_compress</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append_separator</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enable_encoding</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_forced</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_disabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_null</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_value</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_header_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_footer_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format_row_number</
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值