分布式系统搭建

最新推荐文章于 2024-04-24 10:03:18 发布

黄小二哥

最新推荐文章于 2024-04-24 10:03:18 发布

阅读量70

点赞数

原文链接：http://www.cnblogs.com/cenzhongman/p/7138064.html

版权

组建分布：

    hadoop-senior           hadoop-senior02         hadoop-senior03
HDFS
    NameNode
    DataNode                DataNode                DataNode
                                                    SecondaryNameNode
YARN
                            ResourceManager
    NodeManager             NodeManager             NodeManager

MapReduce
    JobHistoryServer

1.配置固定IP 配置IPV4

ubuntu主机名修改

临时设置
$ sudo hostname newHostName
永久设置
$ sudo vi /etv/hostname

2.配置主机名 /etc/hosts文件

192.168.2.123   hostname-ubuntu.cenzhongman.com     hostname-ubuntu
192.168.2.124   hostname-ubuntu2.cenzhongman.com    hostname-ubuntu2
192.168.2.125   hostname-ubuntu3.cenzhongman.com    hostname-ubuntu3

3.配置

* hdfs
     * hadoop-env.sh        ->   JAVA_HOME
     * core-site.xml        ->   namenode主机和端口 临时文件目录
     * hdfs-site.xml        ->   删除Datanode备份数目设置，设置dfs.namenode.secondary.http-address     hostname-ubuntu3.cenzhongman.com:50090
     * slaves               ->   配置DataNode主机

* yarn
     * yarn-env.sh          ->   JAVA_HOME
     * yarn-site.xml        ->   <!--设置resourceManager的主机--><!--设置日志保留7天-->从YARN启动mapreduce

* mapredue
     * mapred-env.sh        ->   JAVA_HOME
     * mapred-site.xml      ->   <!--配置jobhistory主机-->

4.分发到各个节点

[SSH无密码登录及远程拷贝命令SCP的使用](http://www.cnblogs.com/cenzhongman/p/7052414.html)

5.从节点设置SSH无密钥登录(跟mac地址又关，因此需要删除重新配置)

并将自己的密钥 Copy给其他节点

6.启动集群测试

   *基本测试：测试集群功能
        hdfs 读写操作
        yarn 跑一个程序
        MapReduce 跑程序
    *基准测试：测试集群性能
        hdfs 读写速度
        yarn 多任务调度
        MapReduce 多Map任务运行
    *监控工具
        Clodera
        Cloderra Manager
            部署安装集群
            监控集群
            预置同步集群
            预警功能

转载于:https://www.cnblogs.com/cenzhongman/p/7138064.html