Hadoop 测试例子

一、软件环境

Hadoop搭建系统环境：三台完全一样的Centos7.0_64位虚拟机系统，其中一个做Namenode和Datanode，另外两个做Datanode。

二、运行步骤

2.1 新建输入文件内容

在根目录新建一个文件夹叫input，在文件夹里新建三个文件f1.txt,f2.txt,f3.txt,f4.txt,f5.txt,f6.txt，并分别写入一些内容。

mkdir input
echo "hello hadoop" > input/f1.txt
echo "hello java" > input/f2.txt
echo "hello world" > input/f3.txt
echo "hello hong kai hua" > input/f4.txt
echo "hello shan xi" > input/f5.txt
echo "hello 山西" > input/f6.txt

 

2.2.首先查看下是否有可以上传的目录，避免与已创建的话会重名：   

hdfs dfs -ls /

2.3创建一个文件夹，专门存放要hadoop要分析的数据文件（注意，这个命令创建的文件夹好像是不存在的，你找不到的，所以你要记住你创建的这个路径文件夹，下面用得着）：

hadoop fs -mkdir -p /home/hadoop/input

然后查看我们在hadoop中是否已经成功创建了该文件夹：

hadoop fs -ls /home/hadoop/

2.4 把文件复制到hadoop中的文件系统中（Hdfs）

hadoop fs -put /input/* /