单机模式
1、配置HADOOP_HOME
修改文件/etc/profile
|
2、运行MapReduce程序
--参考官方文档
--统计以dfs开头的单词个数 |
伪分布式
1、创建hadoop用户
--用root用户操作
|
2、安装SSH、配置SSH无密码登陆
|
3、测试ssh连接到localhost
--如果没有配置过,会显示拒绝连接 |
4、配置ssh面登陆
--以hadoop用户操作 --生成密钥
--该文件权限644
--如果还是拒绝连接,查看ssh服务是否启动,用root用户启动 /etc/init.d/ssh start --此外检查一下防火墙 |
5、配置hadoop配置文件
--配置etc/hadoop/hadoop-env.sh: 修改JAVA_HOME路径 可以修改日志路径
--配置etc/hadoop/core-site.xml:
--配置etc/hadoop/hdfs-site.xml:
--配置etc/hadoop/mapred-site.xml:
|
6、启动hadoop
--格式化hadoop $ bin/hdfs namenode -format --启动dfs $ sbin/start-dfs.sh --首先启动NameNode,在启动DataNode,在启动SecondaryNameNode |
7、测试hadoop
|
8、YARN配置
--配置etc/hadoop/mapred-site.xml:
--配置etc/hadoop/yarn-site.xml:
--启动YARN
首先启动ResourceManager,在启动NodeManager --查看结果 http://localhost:8088/ |