在ubuntu系统上使用Hadoop搭建集群![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d957c6c87f6afab494911037331291f1.png#pic_center)
两台ubuntu(注意:hosts、config以及hadoop中的主节点、附属节点的主机名应保持一致)参考博客
1、配置ssh(默认连接方式 ssh 用户名@主机ip)使得免ip、免用户名登录(ssh 自定义主机名)
-
修改/etc/hosts文件添加主机名和ip的映射,使得免ip
-
修改~/.ssh/config 文件使得免用户名
2、安装hadoop并配置hadoop环境变量、安装java并配置JAVA_HOME(参考博客)
3、修改/usr/local/hadoop/etc/hadoop 中的几个配置文件
-
hadoop-env.sh:配置运行时的环境,指定JAVA_HOME的安装目录:export JAVA_HOME=安装目录(注意必须直接指出安装路径,不能使用$JAVA_HOME,否则运行时会报错找不到JAVA_HOME)
-
slaves(标明所有的附属节点主机名,使用该主机名可以直接ssh登录主机)(该文件仅master节点持有)把所有从节点的主机名写到这儿就可以,这是告诉hadoop进程哪些机器是从节点。每行写一个,例如
前提是你已经为每个节点进行了hostname的命名。而且每个节点的hosts文件你修改了本地dns的指向,让这些主机指向约定好的IP。然后每个节点的hosts文件保持同步。
-
核心配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
core-site.xml:文件系统采用hdfs实现、临时数据存放的位置、缓冲区大小,实际工作中根据服务器性能动态调整、开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收
hdfs-site.xml:
mapred-site.xml
yarn-site.xml:这个文件就是配置资源管理系统yarn了,其中主要指定了一些节点资源管理器nodemanager,以及总资源管理器resourcemanager的配置。 可以看到这个配置中,跟mapreduce框架是相关的。
4、将hadoop文件夹发送给其他的slave节点、删除其中的slaves文件、在各个slave节点上配置hadoop环境变量、安装java并配置JAVA_HOME(参考博客)
5、启动(在master节点)
-
执行NameNode的格式化:
hdfs namenode -format
(第一次启动服务前进行的操作,之后再开启集群无需此操作) -
启动 Hadoop:
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
-
可以在master和slave节点上使用jps命令查看各个节点所启动的进程
master
slave1
-
关闭集群
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver