运行Hadoop的WordCount--相当于Java中的"HelloWorld"

因为本人也是初学阶段,有什么有错的地方,欢迎指导,由于本人是属于最后总结,所以没有什么截图显示,只有简洁的命令操作,以及简单的说明,请见谅,具体操作系统,版本请查看上篇博客

ps: 可以是使用命令查看Hadoop是否启动

• jps
  • 需要有类似信息
  • 2984 ResourceManager
  • 7515 Jps
  • 2636 NameNode
  • 2831 SecondaryNameNode

进行Hadoop小程序的测试

与我们学习Java中的Hello World 是一个意思,类似与启蒙 

• 在hadoop 上创建文件
  • 创建 input 文件夹
  • ./bin/hadoop fs -mkdir /input
  • 把当前目录中readme.txt文件放如input目录下
  • ./bin/hadoop fs -put README.txt /input
  • 查看是否成功
  • ./bin/hadoop fs -ls /input
  • 运行Hadoop自带的 wordcount 例子的jar包
  • ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar wordcount /input/ /output/wordcount1
  • 跑完结果进行查看
  • 查看文件 (会发现多了一个output文件)
  • hadoop fs -ls /
  • 查看output文件
  • ./bin/hadoop fs -ls /output
  • 查看output文件中的wordcount1文件,存放的是我们运行的结果
  • ./bin/hadoop fs -cat /output/wordcount1/*

通过Web 了解Hadoop的活动

• 通过用浏览器和http访问jobtracker 所在节点的 50030 端口监控 jobtracker
• 通过用浏览器和http访问namenode所在节点的50070端口监控集群