运行hadoop自带wordcount例子

说在前面

一直又想写博客的想法，而自己又太懒，感觉也写不出来什么。恰巧在工作中花了较多时间来搭建Ambari和hadoop环境，集成了ldap、kerberos、hue、es等等；正好借这个机会开始写博客吧，把自己遇到的问题及经验分享出来，希望自己能坚持下来。

环境配置

系统环境Centos6.5，Ambari 2.5.1，HDP2.6，开启了Kerberos服务

1、首先要认识到：hadoop的输入输出都是在hdfs文件系统上的，而hdp自带的wordcount例子需要有输入文件，所以需要先上传输入文件到hdfs上。可以用hadoop fs -ls /[文件目录]查看你所需要查看的目录，如下：

这里我把输入文件上传到/user/hive/下，

[root@master text]# hadoop fs -put data.txt /user/hive
put: Permission denied: user=root, access=WRITE, inode=“/user/hive/data.txt._COPYING_”:hive:hdfs:drwxr-xr-x

上面是报错信息，说root用户没有权限访问，所以这里将linux用户切换到hive，来进行文件上传

[hive@master text]$hadoop fs -put data.txt /user/hive 由于启用了kerberos，所以会报如下错误信息：

17/09/07 16:43:19 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
put: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: “master/192.168.0.27”; destination host is: “master”:8020;

这里因为切换到hive用户后，当前缓存的kerberos用户为空，所以需要登录一个kerberos用户，这里我们使用hive的kerberos用户，命令：

kinit -kt /etc/security/keytabs/hive.service.keytab hive/master （注：master需要替换为你当前域名，中间红色的为hive的keytab文件位置，然后可以用klist命令查看当前kerberos用户)

然后再进行文件上传就不会有错了

2、我们先找到hdp自带的wordcount jar包，我这里位置为/usr/hdp/2.6.0.3-8/hadoop-mapreduce/，所以进入这个目录，执行以下命令：

[hive@master hadoop-mapreduce]$ hadoop jar hadoop-mapreduce-examples.jar wordcount /user/hive/data.txt /user/hive/output

/user/hive/data.txt 即为我刚上传到hive下的文件，/user/hive/output 为输出目录，记住这个目录一定不要存在，不然会报output folder already exists

下图为运行结果

我们也可以通过yarn的资源界面来进行查看（这个任务会提交到yarn进行处理），如下图

3、这里我通过hue来查看输出结果，

输出结果还是很直观的