Centos7-Hadoop2.7安装

工具

  1. 在虚拟机VMWare上安装三台Linux(centos7,一个主节点,两个子节点)虚拟机。最小化安装。
  2. 下载hadoop-2.7.4.tar.gz安装包

具体步骤

  1. 用Xftp文件传输软件把hadoop-2.7.4.tar.gz安装包上传到虚拟机/root目录下
  2. 解压缩:tar zxvf hadoop-2.7.4.tar.gz
  3. 把解压后的文件移动到指定路径:mv hadoop-2.7.4 /usr/share/
  4. 进入到安装目录下,打开hadoop-env.sh配置文件,vi etc/hadoop/hadoop-env.sh,指定jdk的安装位置
  5. 配置环境变量:vi /etc/profile
    #Hadoop
    export HADOOP_HOME=/usr/share/hadoop
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  6. 刷新环境变量:source /etc/profile

配置文件

进入到hadoop的安装目录:cd /usr/share/hadoop
(1)打开core-site.xml,vi etc/hadoop/core-site.xml,指定namenode
    在文件中<configuration></configuration>配置节中增加属性
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
(2)打开hdfs-site.xml,vi etc/hadoop/hdfs-site.xml,指定SecondaryNameNode
    在文件中<configuration></configuration>配置节中增加属性
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hdfs://master:50090</value>
    </property>

修改/ect/hostname文件

每个节点都要修改,
主节点上为
master
两个子节点分别为
node1
node2
修改完之后三个节点都要重启:reboot,使两个子节点的名称正常(我的两个子节点是克隆的主节点,所以要改,如果不是克隆的,不需要改)

修改/etc/hosts文件

Hosts的作用是可以在网络使用名字替换IP地址,文件内容如下(ip地址在前,名字在后,ip地址和名字千万不能写反):
    192.168.2.128        master
    192.168.2.131        node1
    192.168.2.130        node2
在主节点NameNode上整理好,然后分发到各个节点。
    scp /etc/hosts root@node1:/etc/hosts
    scp /etc/hosts root@node2:/etc/hosts

修改slaves文件

进入到目录:cd /usr/share/hadoop/etc/hadoop
打开slaves文件:vi slaves
slaves文件如下:
    master      #让master同时成为datanode,生产环境通常不需要!
    node1
    node2

把配置好的hadoop分发给其他两个子节点

把整个hadoop文件夹分发给两个子节点:
scp -r /usr/share/hadoop root@node1:/usr/share/
scp -r /usr/share/hadoop root@node2:/usr/share/
这里还没获取公钥,所以需要密码,就是创建虚拟机时的密码

生成密钥、授权公钥

~/.ssh/authorized_keys
Authorized_keys的作用是可以免密码地使用SSH跨节点相互访问

生成密钥
    在NameNode上使用ssh-keygen命令生成密钥对
    ssh    #先运行下ssh命令
    ssh-keygen    #生成密钥对(如果有,直接使用)

生成的密钥对在~/.ssh中,分别是:
    id_rsa          #私钥
    id_rsa.pub      #公钥

授权公钥
    在NameNode上使用cat命令将公钥放入授权文件,授权后可以免密码访问
    cat xxx.pub >> authorized_keys~
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   #将生成的公钥添加到授权公钥中。

分发
    将~/.ssh目录复制到任意一个DataNode
    scp -r  ~/.ssh  root@node1:~/
    scp -r  ~/.ssh  root@node2:~/

启动

格式化
    在namenode上运行
    hdfs    namenode    -format
启动
    在namenode上运行
    start-dfs.sh
检查启动结果
    【1】用JPS查看Java进程
        NameNode                    #NameNode启动了,NameNode上要有此进程
        DataNode                    #DataJNode启动了,DataNode上要有此进程
        SecondaryNameNode           #SecondaryNameNode启动了
        #这个是NameNode上的辅助进程
    【2】用master:50070查看Hadoop站点,检查各个节点是否启动
    【3】用命令测试,检查HDFS是否工作正常
        hdfs dfs -mkdir /abc
        hdfs dfs -ls /
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页