hadoop 计算平均成绩

最新推荐文章于 2024-06-30 17:10:23 发布

王俊杰MSE

最新推荐文章于 2024-06-30 17:10:23 发布

阅读量3k

点赞数 1

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/dang_wang/article/details/16808235

版权

本文档详细介绍了如何启动Hadoop环境，包括namenode的格式化、集群启动，以及解决启动问题。接着，通过Eclipse编写MapReduce程序来计算average.jar中的数据平均值。数据预处理包括在本地创建file.txt并上传到HDFS的input目录。最后，通过命令执行Hadoop job并验证程序结果。

摘要由CSDN通过智能技术生成

1.启动hadoop，使用命令bin/hadoop namenode -format

对namenode格式化

2.使用命令sbin/start-dfs.sh和sbin/start-yarn.sh启动如下图

使用jps命令查看进程，如果出现以上五个进程表示启动成功，有时候经常是namenode启动不起来，从网上查原因，大致是namenode格式化的问题，再次格式化就可以了

3,启动eclipse写代码

package average;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;

impo