使用kettle从HDFS上 下载、上传文件

最新推荐文章于 2024-05-17 11:06:12 发布
最新推荐文章于 2024-05-17 11:06:12 发布
阅读量873 收藏
点赞数
分类专栏： kettle 文章标签： kettle HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxydzyr/article/details/102389365
版权

使用kettle从HDFS上 下载、上传文件

文章目录


下载

1. 从核心对象中找到Big data，拉出 Hadoop file input 步骤，然后输入相关信息。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q92whKf0-1570519510444)(D:\学习笔记\kettle\保存图片\kettle从HDFS上下载数据\01拉出组件.jpg)]

2. 将结果输出到excel中。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eJrIK9QJ-1570519510445)(D:\学习笔记\kettle\保存图片\kettle从HDFS上下载数据\02结果.jpg)]

上传

把之前下载下来的文件再传上去。

1. 拉出一个excel 输入，和一个 Hadoop file output ，连接起来。然后修改两者。

最低0.47元/天 解锁文章
xxydzyr
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle下载文件.zip
08-13
kettle下载文件！！！经典例子！！
使用Pentaho Kettle批量下载文件 示例代码
05-14
使用Pentaho kettle 批量下载文件 的示例代码 包含三个文件，按执行顺序依次为：main.kjb、filelist.ktr、download.kjb。 压缩包中有2个版本的源码。 一个源码是从“txt文件”中读入URL路径，下载文件； 一个源码是...
Kettle文件下载
stone_tomcate的博客
11-04 1397
Kettle 从不同服务器中下载excel文件 新建作业，拉去SFTP下载组件： 2、配置信息 远程目录是下载数据的源目录 通配符用于筛选需要下载的文件 .*\.xls$ 这个通配符就是后缀名为xls的文件全部下载 运行作业 成功后可以在目标目录看到下载的文件。 ...
Kettle新版下载安装使用-——kettle开发00
java程序员的蜕变之路
05-17 3026
链接：https://pan.baidu.com/s/1xfjeUZKGMFZzWf2bP9ZHiQ?双击data-integration，找到spoon.bat进行双击，稍等几秒就可以显示界面啦。1.下载oracle的jar包，我这里我下载好了放在网盘里。（5）选择有“Data Integration”的下载。6.填写框起来的内容，点击测试，成功后再点击确认就好了。4.双击spoon.bat打开界面，新建转换。（1）复制链接在网页打开，点summary。（6）下载完就可以得到安装包了。
Kettle实现Hdfs资源的上传下载
weixin_42687074的博客
05-07 415
Kettle使用策略 一、资源库Repository Manager 将写好的作业/转换存储在Mysql中，方便共享。 二、配置连接 配置Hadoop集群版本环境，Pdi 9.1使用的hdp3.0和cdh 6.1 三、转换 配置Hive表输入：集群为刚才配置好的 3.1下载集群资源 3.1.1Hive表输入 选择对应表+sql 即可。 3...
kettle文件自动化部署（shell脚本执行）：命令行参数传入
热门推荐
longshenlmj的专栏
02-27 1万+
shell脚本（crontab 定期执行），调用kitchen 和 pan 去执行，job和transformation文件。 分 windows和 dos系统两种。 太简单不写了。   shell脚本懒得贴了，不懂百度
Kettle 如何下载OSS上的文件
何以问_的博客
07-12 1222
ossftp是一个特殊的FTP server，可以将对文件、文件夹的操作映射为对OSS的操作，使您可以基于FTP协议来管理存储在OSS上的文件。 把dockerfile 和 安装盘放在同一个目录 返回上一级执行 运行容器 访问页面 配置ossftp ​ ossftp客户端可以使用拥有Bucket访问权限的AccessKey访问ossftp服务端，也可以使用拥有Bucket访问权限的自定义登录用户访问ossftp服务端。...
KETTLE-从ftp上下载csv文件插入到数据库
06-06 982
使用kettle从另一台服务器上的ftp上下载txt文件到本地 然后将数据插入到数据库中 ftp的目录是动态的 每天都会生成一个时间目录 如20180510 文件就放在这下面 我们文件名是不变的 所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用 下载到本地后 清空表（我们是全量导入 所以清空） 然后再导入数据。“q+”: Math.floor((this.getMonth() + 3) / 3), //季度。这是获取ftp路径的ktr 也就是为了获取动态时间的目录。
kettle批量下载文件.zip
09-08
标题 "kettle批量下载文件.zip" 提到的核心技术是 Pentaho Data Integration（简称 Kettle 或 PDI），这是一个开源的数据集成工具，广泛用于ETL（Extract, Transform, Load）过程，即从不同数据源提取数据、转换数据...
Kettle上连接HDFS，同步虚拟机上MySQL数据到HDFS
最新发布
06-16
Kettle连接HDFS，kettle连接虚拟机MySQL，MySQL数据同步到HDFS上，问题解决。
kettle7.1批量下载HTTP文件
09-15
【Kettle7.1批量下载HTTP文件】是一个利用Pentaho Data Integration（也称为Kettle或Spoon）工具实现从HTTP源批量下载文件的实践案例。Kettle是一款强大的ETL（提取、转换、加载）工具，它允许用户通过图形化界面...
《使用kettle批量下载文件》示例代码
09-10
使用kettle批量下载文件的示例代码，详细内容可以查看博客对应的文章。
使用Kettle从本地上传文件到远程HDFS
数据源的港湾
10-09 8107
在前面的文章中，我们描述了使用Kettle工具可以在实现关系型数据库之间的数据ETL，如Oracle->Trafodion，MySQL->Trafodion等，本文通过范例介绍如何使用Kettle将本地的文件上传至HDFS目录。关于如何在Kettle中配置连接HDFS（以连接CDH为例），详情可参考Kettle官网之https://help.pentaho.com/Documentation/7.1
Kettle之批量读取excel文件内容实现批量下载功能
hyly_zhard的博客
11-28 2469
整个流程是这样的： 大致的思想是这样的，start开启一个job。 步骤二 读取Excel文件中的链接，然后将记录复制到结果中。 步骤三 其中的代码： // //获取前一个步骤的所有结果集数据 var prevRow=previous_result.getRows(); //如果结果集数据为null或者没有数据，直接返回false if(prevRow == null &&amp......
使用kettle批量下载文件
neweastsun的专栏
09-10 1万+
使用kettle 批量下载文件示例，非常实用且详细的教程，有代码供下载学习！
记录自己Kettle下载全过程
m0_59066580的博客
08-17 1047
无
ETL工具KETTLE常用设计之——下载远程服务器文件
LSY_CSDN_的博客
12-18 2961
一、下载文件： 在kettle作业中使用：“SFTP下载”组件，将远程服务器中指定文件夹中的文件下载到本地。 二、获取文件名： 在转换中使用输入中“获取文件名”组件，用来获取下载到本地的文件夹中的文件名称，并将文件名输出到指定位置保存。 三、文件输入： 在转换中，可以使用输入中“文本文件输入”等输入组件，将刚才保存的文件名称输入获取到，然后可以传输到一个job中，该job...
kettle HDFS 删除文件
12-13
在Kettle中删除HDFS文件可以通过使用Hadoop File Input和Hadoop File Output步骤来实现。具体步骤如下： 1. 添加Hadoop File Input步骤，配置HDFS连接信息和要删除的文件路径。 2. 添加一个过滤器步骤，将要删除的文件名添加到过滤器中。 3. 添加Hadoop File Output步骤，将过滤后的文件输出到一个新的目录中，从而达到删除文件的目的。 以下是一个删除HDFS文件的Kettle作业的范例： ```kettle <?xml version="1.0" encoding="UTF-8"?> <job> <name>Delete HDFS File</name> <description/> <extended_description/> <job_version>1.0</job_version> <job_status>0</job_status> <entry> <name>Hadoop File Input</name> <description/> <type>HadoopFileInput</type> <filename>${Internal.Transformation.Filename.Directory}/input.ktr</filename> <args> <arg> <name>source_configuration_name</name> <value>hdfs</value> <type>5</type> </arg> <arg> <name>source_file_folder</name> <value>/path/to/files</value> <type>1</type> </arg> <arg> <name>source_wildcard</name> <value>*</value> <type>1</type> </arg> <arg> <name>source_file_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_include_subfolders</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_field_name</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_filename</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_filename_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_field</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_by_group</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_fieldname</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_fieldtype</name> <value>Number</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_header</name> <value>Y</value> <type>5</type> </arg> <arg> <name>source_output_footer</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>unix</value> <type>1</type> </arg> <arg> <name>source_output_enclosure</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_delimiter</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_escape_character</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_row_separator</name> <value>\n</value> <type>1</type> </arg> <arg> <name>source_output_null_string</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_file_extension</name> <value>txt</value> <type>1</type> </arg> <arg> <name>source_output_servlet_output</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_if_file_exists</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_does_not_exist</name> <value>create_file</value> <type>1</type> </arg> <arg> <name>source_output_if_file_is_empty</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_size_is_zero</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_specify_date_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filenames</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_every</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_haspartno</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_date</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_time</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_specify_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_time_format</name> <value>yyyyMMdd</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filesname</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_pad</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_fast_dump</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_by_part_size</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_part_size</name> <value>1000000</value> <type>4</type> </arg> <arg> <name>source_output_encoding</name> <value>UTF-8</value> <type>1</type> </arg> <arg> <name>source_output_compress</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append_separator</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enable_encoding</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_forced</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_disabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_null</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_value</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_header_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_footer_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format_row_number</

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值