要手动将文件加载到Hadoop中,应首先将文件加载到名称节点(name node)服务器。 使用名称服务器上的文件,可以在Hadoop命令提示符下使用两个命令之一将文件加载到Hadoop文件系统(HDFS)中。 虽然这对于大多数数据加载需求并不理想,但是当数据文件足够小以适合名称节点时,这种技术对于开发练习和其他一次性情况是很好的。
为了演示手动加载文件,我们将从桌面开发环境的名称节点(name node)服务器加载integers.txt文件,这两个项目都是在本系列的先前帖子中创建或下载的。 请确保将integers.txt文件放在名称节点服务器的C:Temp文件夹中,或者更改以下适当的语句:
注意此处介绍的步骤将用于将HDFS或AVS用作底层的Hadoop数据存储机制。
1.从桌面启动Hadoop命令提示符:
配置环境变量的前提下,直接启动dos窗口
2.从Hadoop命令提示符下,通过发出以下命令在Hadoop文件系统中创建/demo/simple/in文件夹结构:
hadoop fs -mkdir /demo/simple/in
3.使用以下命令在 /demo/simple
下创建一个out文件夹:
hadoop fs -mkdir /demo/simple/out
注意此文件夹将用于以后的练习。
4.使用以下命令,将本地文件系统中的integers.txt文件加载到Hadoop文件系统内的/demo/simple/in
中:
hadoop fs -put "c:tempintegers.txt" /demo/simple/in
5.通过发出以下命令,验证integers.txt文件在/demo/simple/in
文件夹中:
hadoop fs -ls /demo/simple/in