kettle将本机文件上传到HDFS

最新推荐文章于 2024-09-23 22:20:40 发布
最新推荐文章于 2024-09-23 22:20:40 发布
阅读量1.9k 收藏 4
点赞数 2
文章标签： Hadoop 简单操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Charles_hdfs/article/details/101171349
版权

kettle将本机文件上传到HDFS

如果用的是apache的Hadoop的话选择Cloudera Hadoop

**1、**将NODE02的core-site.xml、hdfs-site.xml放入
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510
data-integration——Kettle的安装路径

**2、**启动Kettle(即Spoon.bat)新建一个作业

新建作业

3、点击主对象树，并添加一个Hadoop clusters

添加Hadoop cluster

**4、**输入对应的参数
这里需要对hosts(C:\Windows\System32\drivers\etc\hosts)进行过修改才可以输入NODE02
配置参数

点击测试如果结果是下面这样就成功连上HDFS了
测试链接

**5、**在HDFS上创建一个kettle文件夹并给予权限

hdfs dfs -mkdir /kettle
hdfs dfs -chmod 777 /kettle

6、点击核心对象里的Big Data在主页面上拖入Hadoop Copy Files

右键Hadoop Copy Files并点击编辑作业入口

拖控件

**7、**进行一些配置

  • 源文件/目录这一项配置的是想要上传的文件的路径
  • 配置完成点击确定

简单配置

8、在核心对象的通用下拖入START，然后按住Shift连接到Hadoop Copy Files，执行即可

START执行成功效果

__Charles__
关注
win7下借助kettle7.0在命令行界面将数据传输到hdfs
unlock的博客
01-04 791
 为什么写这系列博客的原因就是真的遇到的坑太多了，所以需要写下来，防止以后忘记，话不多说吗，直接进入主题 一、环境 kettle7.0，kettle是开源的etl工具（kettle7.0需要java8）,其优势在于可以使用图形化界面开发，开发完成后可以部署在linux或者windows平台 window7.0 大数据平台采用的是CDH，其余版本的haoop应该也是类似的 二、修改配置文件 ...
kettle 从数据库表将数据写入 hadoop hdfs
cdmamata的专栏
02-24 1万+
kettle 作为一个 java 的开源 ETL 工具，支持的接入源与输出源很丰富， 下面测试简单的 数据库 table -> table -> hdfs 文件的写入。 简介：kettle 主目录分为作业和转换     转换： 用来配置ETL 链路信息，及工作方式。     作业： 用来启动和控制转换工作。 1. 安装环境     kettle 依赖于 java 环境，请安装好 Jav
使用Kettle从本地上传文件到远程HDFS
数据源的港湾
10-09 8261
在前面的文章中，我们描述了使用Kettle工具可以在实现关系型数据库之间的数据ETL，如Oracle->Trafodion，MySQL->Trafodion等，本文通过范例介绍如何使用Kettle将本地的文件上传至HDFS目录。关于如何在Kettle中配置连接HDFS（以连接CDH为例），详情可参考Kettle官网之https://help.pentaho.com/Documentation/7.1
kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传
最新发布
zhangjin1222的博客
09-23 469
1、kettle本身文件上传功能不是很友好，甚至是不能直接使用，需要调整文件上传接口才可以正常接收到文件，本次讲解内容主要是通过自定义插件解决这个问题。2、通过springboot 编写简单demo，模拟文件上传，接口支持三个参数unitCode、password、和文件dataFile。{{body}}：表示从前面【生成记录】步骤获取参数body，同时也支持采用变量的方式，如${BODY}files:表示需要上传的文件，通过{{file}}从前面【生成记录步骤进行获取】index.html源文件。
大数据：Kettle导入数据到HDFS
金融科技和数据治理
07-15 5475
【参考文献】 1.kettle 从数据库表将数据写入 hadoop hdfs
使用kettle上传文件到SFTP案例-附件资源
03-05
使用kettle上传文件到SFTP案例-附件资源
上传本地文件到HDFS
zzooeefly的博客
03-18 4252
1. 根据配置文件得到三个待用目录 本地文件目录 （待上传目录） hdfs远程文件备份目录（hdfs备用目录） hdfs远程文件归档目录（hdfs正式路径） hdfs的文件操作封装成工具类，随时供调用 public class HDFSUtil { protected static Configuration conf; protected FileSystem...
Kettle的导入.MySQL到HDFS
qq_27787581的博客
11-30 404
1.运行SQL语句 SET FOREIGN_KEY_CHECKS=0; DROP TABLE IF EXISTS foundation; CREATE TABLE foundation ( id int(11) NOT NULL AUTO_INCREMENT, site_name varchar(255) DEFAULT NULL, site_url varchar(255) DEFAULT NULL, nation_s varchar(255) DEFAULT NULL, media_flag varch
使用kettle从HDFS上 下载、上传文件
xxydzyr的博客
10-08 906
使用kettle从HDFS上 下载、上传文件 文章目录使用kettle从HDFS上 下载、上传文件1. 从核心对象中找到Big data，拉出 Hadoop file input 步骤，然后输入相关信息。2. 将结果输出到excel中。上传1. 拉出一个excel 输入，和一个 Hadoop file output ，连接起来。然后修改两者。2. 上传报错，发现是没有权限。3. 最终结果 下载 1...
kettle输出数据到hadoop 的hdfs 系统，错误总结
星月情缘的博客
10-16 6459
         最近自己在练习使用kettle时，想把MySQL中的数据同步到Hadoop中，就测试了一下，到最后发现怎么也连接不上hadoop集群，好不容易连接上了，结果文件又无法写入到指定的目录中，一直提示权限不够，很郁闷啊。最后终于解决了，分享一下心得。        1. kettle 安装在此不讲述，本文是以kettle 和Hadoop环境都已经部署好了，可以正常使用的环境。   ...
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
tiantang2renjian的博客
05-09 3014
Kettle采集Kafka数据到HDFS
用kettle设计ftp上传操作手册
07-12
利用kettle数据抽取工具，编写了一个输出文本数据兵上传到ftp服务器的操作手册
kettle入门(三) 之kettle连接hadoop&hdfs图文详解
热门推荐
xiaohai798的专栏
12-11 6万+
最详细的kettle连接hadoop&hdfs图文教程
笨鸟的平凡之路-kettle使用之MySQL数据写入HDFS
笨鸟的平凡之路
06-11 929
表输入 步骤: 1.核心对象 2.输入 3.表输入 4.右侧图形化界面右击表输入,选择编辑步骤 5.数据库连接->新建 6.SQL填写(编写需要写入HDFS的数据条件) 7.记录数量限制(默认是0,全量导入) 8.确定 表输入信息填写: HDFS输出 步骤: 1.核心对象 2.Big Data 3.双击Hadoop File Output 4.右侧图形化界面右击Hadoop File...
Kettle Rest大文件上传(RestUploadFile.ktr) Rest文件下载(FileDownload.ktr)
weixin_30340775的博客
06-12 446
1．Rest大文件上传(RestUploadFile.ktr) 需求描述 上传文件大于10M小于500M 上传文件进行分片（5M一片要比1M分片整体时间快） 先使用java类进行功能模拟在迁移Ktr 使用Kettle+Java片段代码开发 启动步骤时可以自定义必须参数 增加UserId（如：testXiaoYu目录） 上传地址：http://**:8089/api/dlapi...
KETTLE（三）--kettle连接MySQL转换到HDFS
weixin_45938400的博客
10-11 739
前期准备 第一步 1.Hadoop地址：https://archive.apache.org/dist/hadoop/common/ 2. 下载hadoop在windows环境下支持包hadoopwindows-master.   https://github.com/sardetushar/hadooponwindows 我这里hadoop下载的版本是2.7.7版本最好在网上查好你要下载那个版本，不然会报错 第二步 配置环境变量，添加%HADOOP_HOME%，添加path 第三步 Hadoop的文件配
使用kettle上传文件HTTP post案例
qq_35312979的博客
06-15 5390
1.从网站下载kettle，下载 2.解压后可直接运行spoon.bat 3.打开界面后新建转换，并且配置数据库连接 4.在右边的核心对象里面输入下面找到表输入后拖出来如图所示效果 5.双击拖出来的表输入，填入sql查询语句 ![在这里插入图片描述 6.文件内容加载至内存 7.JavaScript代码 文件内容转为Base64 8.通过HTTP post上传文件 9.JSON input 接受api接口操作返回得值 ，成功就更新当前数据状态 ...
根据用户名上传文件到用户名的目录下
weixin_34301307的博客
01-12 279
Code string uploadPath = Server.MapPath(Request.ApplicationPath + "/Upload/" + SysUser.UserName);        if (Directory.Exists(uploadPath) == false)        {            Directory.CreateDirectory(upload...
kettle HDFS 删除文件
12-13
在Kettle中删除HDFS文件可以通过使用Hadoop File Input和Hadoop File Output步骤来实现。具体步骤如下： 1. 添加Hadoop File Input步骤，配置HDFS连接信息和要删除的文件路径。 2. 添加一个过滤器步骤，将要删除的文件名添加到过滤器中。 3. 添加Hadoop File Output步骤，将过滤后的文件输出到一个新的目录中，从而达到删除文件的目的。 以下是一个删除HDFS文件的Kettle作业的范例： ```kettle <?xml version="1.0" encoding="UTF-8"?> <job> <name>Delete HDFS File</name> <description/> <extended_description/> <job_version>1.0</job_version> <job_status>0</job_status> <entry> <name>Hadoop File Input</name> <description/> <type>HadoopFileInput</type> <filename>${Internal.Transformation.Filename.Directory}/input.ktr</filename> <args> <arg> <name>source_configuration_name</name> <value>hdfs</value> <type>5</type> </arg> <arg> <name>source_file_folder</name> <value>/path/to/files</value> <type>1</type> </arg> <arg> <name>source_wildcard</name> <value>*</value> <type>1</type> </arg> <arg> <name>source_file_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_include_subfolders</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_field_name</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_type</name> <value>0</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_filename</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_filename_field</name> <value>filename</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_field</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_filename_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_by_group</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_fieldname</name> <value>rownum</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_fieldtype</name> <value>Number</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_length</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_precision</name> <value>-1</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_currency</name> <value>USD</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_decimal</name> <value>.</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_group</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_null</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_ifnull</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_trim_type</name> <value>none</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_repeating</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_include_rownum_repeating_group_size</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_include_rownum_encl</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_delim</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_include_rownum_escape</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_header</name> <value>Y</value> <type>5</type> </arg> <arg> <name>source_output_footer</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format</name> <value>unix</value> <type>1</type> </arg> <arg> <name>source_output_enclosure</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_delimiter</name> <value>,</value> <type>1</type> </arg> <arg> <name>source_output_escape_character</name> <value>\\</value> <type>1</type> </arg> <arg> <name>source_output_row_separator</name> <value>\n</value> <type>1</type> </arg> <arg> <name>source_output_null_string</name> <value>\\N</value> <type>1</type> </arg> <arg> <name>source_output_file_extension</name> <value>txt</value> <type>1</type> </arg> <arg> <name>source_output_servlet_output</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_if_file_exists</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_does_not_exist</name> <value>create_file</value> <type>1</type> </arg> <arg> <name>source_output_if_file_is_empty</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_if_file_size_is_zero</name> <value>do_nothing</value> <type>1</type> </arg> <arg> <name>source_output_specify_date_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_format</name> <value>yyyy/MM/dd HH:mm:ss.SSS</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filenames</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_every</name> <value>0</value> <type>4</type> </arg> <arg> <name>source_output_haspartno</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_date</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_add_time</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_specify_format</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_date_time_format</name> <value>yyyyMMdd</value> <type>1</type> </arg> <arg> <name>source_output_add_to_result_filesname</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_pad</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_fast_dump</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_split_by_part_size</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_part_size</name> <value>1000000</value> <type>4</type> </arg> <arg> <name>source_output_encoding</name> <value>UTF-8</value> <type>1</type> </arg> <arg> <name>source_output_compress</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_append_separator</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enable_encoding</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_forced</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_disabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_null</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_enclosure_fix_value</name> <value>"</value> <type>1</type> </arg> <arg> <name>source_output_header_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_footer_enabled</name> <value>N</value> <type>5</type> </arg> <arg> <name>source_output_format_row_number</
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值