使用Ambari在线安装Hadoop集群

Ambari在线安装

1.创建虚拟机：导入镜像文件、以光盘启动      本人自己使用3台虚拟机搭建小集群

2.关机：修改启动项 -> 硬盘启动、桥接模式

3.重启之后：ifconfig、测试网络连通性 ping www.baidu.com

            service sshd start

            chkconfig sshd on

4.xshell操作：连接虚拟机，做基本配置

5.修改主机名：

    vim /etc/sysconfig/network                                       主节点的配置

    #HOSTNAME=master                           

 

    vim /etc/sysconfig/network                                       从节点的配置

    #HOSTNAME=slave1

 

    vim /etc/sysconfig/network                                          从节点的配置

    #HOSTNAME=slave2

6.修改静态ip

    ll /etc/sysconfig/network-scripts                               查看已有的网卡文件，linux一切皆文件

    ifconfig                                                                      记录MAC的地址，后面会用到

    vim /etc/sysconfig/network-scripts/ifcfg-eth0           新建网卡文件 文本内作如下配置

   

    DEVICE="eth0"

    BOOTPROTO="static"

    HWADDR="自己的MAC地址"

    IPADDR=自己的IP

    ONBOOT="yes"

    TYPE="Ethernet"

    NETMASK=255.255.255.0

    GATEWAY=192.168.0.1                                            #自己的网关，路由网关

    DNS1=114.114.114.114

 

    service network restart                                               设置好之前的后，将网络服务重启，使用ping命令查看网络是否可用，一般不会出问题，

7.修改hosts文件                  各节点都设为一样

    vim /etc/hosts

    192.168.0.101   master.hadoop   master

    192.168.0.102   slave1.hadoop   slave1

    192.168.0.103   slave2.hadoop   slave2

8.命令行模式           由个人喜好决定

配置文件：vim /etc/inittab

修改内容：5改为3

9.重启虚拟机         

reboot

10.改xhell ip重新连接

 

所有虚机关闭防火墙

service iptables stop

chkconfig iptables off

 

所有虚机开启mysql

service mysqld status

chkconfig mysqld on

service mysqld start

 

 

主虚机开启ntp 和 所有虚机开启http 服务

service ntpd status

service ntpd start

chkconfig ntpd on

 

service httpd status

service httpd start

chkconfig httpd on

 

11.配置jdk

    yum -y install lrzsz

    mkdir -p /usr/java

    cd /usr/java

    rz -y

    tar -zxvf jdk-7u79-linux-x64.tar.gz

    rm -f jdk-7u79-linux-x64.tar.gz

    vim /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_79

        export PATH=$JAVA_HOME/bin:$PATH

        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

    source /etc/profile

    java -version

12.免密登录 （master一定要免密登陆自己）

    cd /root/.ssh.

    ssh-keygen -t rsa

    touch authorized_keys

    chmod 600 authorized_keys

    ll

 

    scp   id_rsa.pub  root@master:~/

    scp   id_rsa.pub  root@slave1:~/

    scp   id_rsa.pub  root@slave2:~/

 

    cat /root/.ssh/authorized_keys

    cat id_rsa.pub >> /root/.ssh/authorized_keys

 

    vim /etc/hosts  #添加主机名和ip对应关系

    ssh master

    ssh slave1

    ssh slave2

 

安装java连接mysql  包,可能是必须的

yum install -y mysql-connector-java

 

hadoop 通过ambari 在线

 

配置yum源

 wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

操作完毕后，在  ll /etc/yum.repos.d 目录下会多一个ambari.repo文件

 

通过  yum repolist  命令验证yum源配置是否成功：

 

使用 yum install ambari-server 命令来安装ambari-server，然后输入 y 确认安装

安装完成后返回 complete！

 

我们要先通过ambari-server setup命令完成它的初始化和参数配置

 

    JAVA_HOME=/usr/java/jdk1.7.0_79

 

CREATE DATABASE ambari CHARaCTER SET utf8 ;

CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';

flush privileges    刷新权限

 

mysql -uambari -pbigdata;

use ambari;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

 

启动ambari：ambari-server start

 

master.hadoop

slave1.hadoop

slave2.hadoop

 

自己master的密钥的填写

 

咱们设置的集群端口

(1)hdfs web ui:50070

(2)yarn web ui:18088