hadoop的测试实例

启动 Hadoop
1.格式化文件系统
hadoop namenode –format
2. 启动hadoop
启动关闭所有服务 start-all.sh/stop-all.sh
启动关闭HDFS: start-dfs.sh/stop-dfs.sh
启动关闭MapReduce: start-mapred.sh/stop-mapred.sh
3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker

第三部分：Hadoop UI 介绍
Hadoop 重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面 ：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面
1. HDFS 界面
http://hostname:50070
2. MapReduce 管理界面
http://hostname:50030

第四部分：运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
$ echo ”Hello world Bye world" > >~/input/file1
$ echo ”hello hadoop bye hadoop” > >~/input/file2
2.在HDFS上建立一个input目录
$ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
$ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
$ hadoop fs -ls /tmp/input
5.执行wordcount
hadoop jar hadoop-examples-1.0.0.jar wordcount /tmp/input /tmp/output
6.运行完成，查看结果
hadoop fs -cat /output/part-r-00000


第五部分：集成 Eclipse 开发环境
通过 Eclipse 编写 Hadoop 程序
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件，包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装
初次体验了Hadoop运行的WordCounter程序
了解了Hadoop UI
掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容，转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html】