hadoop -mapreduce wordcount 案例 - hdfs 文件的上传

hadoop -mapreduce wordcount 案例 - hdfs 文件的上传

上一篇博客，写的jdk的搭建和hadoop单节点的安装 ，后面将写mapreduce 在hadoop中的应用，这里先准备一下数据，将数据上传到hdfs文件系统中

1. 首先，我们先在home文件夹下，创建一个文件夹，存储我们的数据

cd  /home
mkdir  data

2. 然后闯将一个文件，用于wordcount测试

touch  wordcount.txt

3. 然后在问价加下写入以下内容，将用于测试

hello,world,hello,hadoop,linux,linux,linux
hello,hadoop,hadoop,linux
world,world,hadoop
hello,world,hello
world,linux,linux

4. 之后，我们需要启动 hadoop 集群，若已启动好，这一步，则可以跳过

注：启动hadoop 需要在root权限下

这里到hadoop的启动文件目录下执行，进行启动，我存放的地点在 /hadoop/hadoop-2.6.0
所以

cd  /hadoop/hadoop-2.6.0
sbin/start-all.sh

#之后可以查看是否启动完成
jps

出现这下面图片显示成功

5. 之后即可上传wordcount.txt 文件，首先我们还得创建一个文件夹存放文件

hdfs dfs -mkdir /wordcount

#之后上传文件
cd /home/data
hdfs dfs -put wordcount.txt  /mkdir

可以进行进hdfs文件系统界面进行查看

显示如下结果则成功上传