hadoop例子程序：求圆周率和wordcount

首先,hadoop01运行起来hdfs，进入hadoop目录，sbin目录下，./start-all.sh

hadoop03运行yarn资源管理          hadoop目录   sbin/start-yarn.sh

hadoop456运行zookeeper节点      /root/soft/zookeeper-3.4.6/bin          ./zkServer.sh

现在集群已经全部启动起来了，其实只需要启动hdfs即可

在根目录创建文本testwords，上传到hdfs的根目录

hadoop dfs -put testwords /          报错连接不到hadoop02

当hdfs都启动起来时候。上传成功

查看

进入到例子的目录中：

执行命令：

 hadoop jar hadoop-mapreduce-examples-2.7.1.jar   wordcount /testwords /testwordsresult

wordcount ：表示使用Wordcount这个程序                                           处理哪个文件          输出到哪个目录

查看结果文件：

查看统计的结果：

先查看生成result文件夹没有

查看result文件夹下面的内容

查看success文件内容，可以看出，统计结果已经出来了

2，使用自带的example程序计算圆周率

 hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5

使用这个命令

后面2个数字参数的含义： 
     第1个5指的是要运行5次map任务 
     第2个数字指的是每个map任务，要投掷多少次 

结果是：4

下面简单写一点hdfs shell操作的命令：

可用 hadoop fs -help查看都有哪些命令

hadoop  fs -get/put/cat/rm/ls/chown/chomod/df/h/ 

fs指的是filesystem，操作的意思

-chown改变所属的组

-chomod   改变权限       777表示可读可写可执行

-df 查看空间

-df -h 易于阅读的查看空间大小

-df -s -h 查看文件大小

-mkdir 创建目录

-rm -r 删除目录

-mv 移动

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/xiaoxiao5ya/p/da686507959026b16d479ca07876bc04.html