Hadoop for .NET Developers(七):手动加载数据到Hadoop

要手动将文件加载到Hadoop中,应首先将文件加载到名称节点(name node)服务器。 使用名称服务器上的文件,可以在Hadoop命令提示符下使用两个命令之一将文件加载到Hadoop文件系统(HDFS)中。 虽然这对于大多数数据加载需求并不理想,但是当数据文件足够小以适合名称节点时,这种技术对于开发练习和其他一次性情况是很好的。

为了演示手动加载文件,我们将从桌面开发环境的名称节点(name node)服务器加载integers.txt文件,这两个项目都是在本系列的先前帖子中创建或下载的。 请确保将integers.txt文件放在名称节点服务器的C:Temp文件夹中,或者更改以下适当的语句:

注意此处介绍的步骤将用于将HDFS或AVS用作底层的Hadoop数据存储机制。

1.从桌面启动Hadoop命令提示符:

配置环境变量的前提下,直接启动dos窗口
这里写图片描述

2.从Hadoop命令提示符下,通过发出以下命令在Hadoop文件系统中创建/demo/simple/in文件夹结构:

hadoop fs -mkdir /demo/simple/in

这里写图片描述


这里写图片描述

3.使用以下命令在 /demo/simple 下创建一个out文件夹:

hadoop fs -mkdir /demo/simple/out

注意此文件夹将用于以后的练习。

4.使用以下命令,将本地文件系统中的integers.txt文件加载到Hadoop文件系统内的/demo/simple/in中:

hadoop fs -put "c:tempintegers.txt" /demo/simple/in

5.通过发出以下命令,验证integers.txt文件在/demo/simple/in文件夹中:

hadoop fs -ls /demo/simple/in

结果如图:

这里写图片描述


这里写图片描述


这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值