hadoop集群环境搭建

防火墙直接关死

1. Hadoop集群规划

主机名(hostname)安装软件运行进程
mini1hadoop-2.7.1nameNode、resourceManager
mini2hadoop-2.7.1dataNode、nodeManager
mini3hadoop-2.7.1dataNode、nodeManager

 

2 HADOOP集群安装步骤

  1. 准备三台Centos6.7 64bit虚拟机:注意 三台机器使用root用户登陆系统

  2. 分别修改虚拟机的主机名(hostname)

  3. 分别配置三台机器的静态i

  4. 分别修改三台机器hosts      以上步骤上一篇都有

  5. 分别为每台机器创建一个名为“hadoop”的用户

    useradd hadoop  #添加hadoop用户
    passwd  hadoop  #给hadoop用户 设置密码 
  6. 分别为每台机器的“hadoop”用户配置sudo权限

    chmod  u+w /etc/sudoers   #为sudoers文件添加一个“可以写入”的权限
    vi /etc/sudoers    #用root用户编辑sudoers文件
    
    直接yy复制  p粘贴再按i修改,其他的修改操作出错可能性大
    
    在其下root  ALL=(ALL)   ALL
    加   hadoop ALL=(ALL)   ALL
    
  7. 安装 jdk-7u55-linux-i586.tar.gz

    #(1)解压jdk
    ​
    #创建文件夹
    mkdir /home/hadoop/develop_env
    ​
    #解压
    tar  -zxvf  jdk-7u55-linux-i586.tar.gz  -C  /home/hadoop/develop_env
    ​
    #(2)将java添加到环境变量中
    ​
    vim /etc/profile
    ​
    #在文件最后添加
    export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
    export PATH=$PATH:$JAVA_HOME/bin
    ​
    #刷新配置
    source /etc/profile
    
  8. 三台机器分别切换为hadoop用户并创建一个名为develop_env的文件夹

    su - hadoop     #切换到hadoop用户
    mkdir develop_env      #在hadoop的家目录下创建一个develop_env文件
    

    下面hadoop用户登场

  9. 上传hadoop-2.7.1.tar.gz到Centos6.7_min1机器的/home/hadoop/develop_env目录下

  10. 解压hadoop-2.7.1.tar.gz安装包

    cd /home/hadoop/develop_env     #切换到/home/hadoop/develop_env目录
    tar -zxvf  hadoop-2.7.1.tar.gz  -C  /home/hadoop/develop_env    #解压
  11. 设置hadoop-env.sh配置文件

    cd   /home/hadoop/develop_env/hadoop-2.7.1/etc/hadoop  #切换目录
    vi   hadoop-env.sh  #添加如下内容
    
    # The java implementation to use.
    原来的那个export JAVA_HOME=后面这些记不清了,直接删掉加上jdk的安装路径就行了
    export JAVA_HOME=/home/hadoop/develop_env/jdk1.8.0_60
  12. 设置core-site.xml配置文件

    mkdir  /home/hadoop/develop_env/hadoop-2.7.1/data   #创建一个名为的文件夹
    vi core-site.xml   #在<configuration></configuration>之间添加如下内容
    
    #内容如下:
        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <!-- 指定了客户端访问的主机名“mini1”(也可以写ip),则该主机的hadoop就是namenode节点了-->
            <value>hdfs://mini1:9000</value>
        </property>
    
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/develop_env/hadoop-2.7.1/data</value>
        </property>
    
    data会在格式化的时候自动创建
    
  13. 设置hdfs-site.xml配置文件(该文件默认即可,今天就不用配置此文件了)

    vi hdfs-site.xml  #添加如下内容
    #添加如下内容
    <!-- 指定HDFS副本的数量 -->
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
    
    #2就是备份的数量,2或3比较好
  14. 设置mapred-site.xml配置文件

  15.  

    因为mapred-site.xml原本不存在,存在一个mapred-site.xml.template模板,直接重命名

    或者是复制一个重命名都行,建议复制一个重命名

    rename mapred-site.xml.template   mapred-site.xml  #默认mapred-site.xml vi mapred-site.xml  #添加如下内容
    #添加如下内容
    <!-- 指定mapreduce运行在yarn上 -->
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
     
  16. 设置yarn-site.xml配置文件

    vi   yarn-site.xml   #添加如下内容
    #添加如下内容
    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>mini1</value>  可以是ip
    </property>
    
    <!-- reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    
  17. 设置slaves配置文件

    vi  slaves    #修改后显示如下内容
    将localhost删了,加mini1也行,不加也行,加了本机当做一台datanode来用,建议不要加
    添加如下
    mini2
    mini3
    
  18. 配置Centos6.7_mini1到Centos6.7_mini2、Centos6.7_mini3的免密登陆:因为之前有可能配置的是root用户的免密登录,但是在这使用的是hadoop用户,所以要对hadoop用户配置免密登录,前面有,不说了

  19. 将develop_env目录下的所有文件分别拷贝到Centos6.7_min2、Centos6.7_min3

    cd ~/develop_env        #切换到/home/hadoop/develop_env目录下
    scp -r /home/hadoop/develop_env/hadoop-2.7.1  min2:/home/hadoop/
    scp -r /home/hadoop/develop_env/hadoop-2.7.1  min3:/home/hadoop

也可以自己去配置,就当是练习一下,所有的东西按照mini1来配置就行,不用修改mini1配置的所有东西

 

    20. 分别在三台机器上将hadoop添加到环境变量

(1)vim  /etc/proflie
(2)source  /etc/profile
(3)分别重启三台机器

 

  • 启动集群

  1. 格式化HDFS 因为HDFS也是文件系统,第一次使用一个文件系统都要格式化

  2.  

    以后尽量少使用格式化,每次格式化都会对data文件进行操作,有可能导致错误

    hadoop namenode  -format      #在min1机器上执行格式化命令

     

  3. 启动hdfs集群(注意启动集群时,最好将集群中所有机器的时间设置一致)

    start-dfs.sh    #在min1机器上执行启动hdfs集群命令
    #注意启动集群时,最好将集群中所有机器的时间设置一致 用到时间同步,之前也有
    

    在min1启动namenode成功显示:

[hadoop@mini1 root]$ jps
2251 NameNode
2573 Jps
2447 SecondaryNameNode
 

 

在min2和min3启动datanode成功显示:

 

[hadoop@mini2 root]$ jps

1746 Jps
1672 DataNode
 

 

  1. 启动yarn集群

    start-yarn.sh       #在min1机器上执行启动yarn集群命令   

    在min1启动resourcemanager成功显示:

    [hadoop@mini1 root]$ jps
    2626 ResourceManager
    2902 Jps
    2251 NameNode
    2447 SecondaryNameNode

    在min2和min3启动nodemanager成功显示:

    [hadoop@mini2 root]$ jps
    1672 DataNode
    1800 NodeManager
    1929 Jps
     

  2. 使用web查看集群的状态

 

使用浏览器打开 http://192.168.246.193:50070

使用浏览器打开 http://192.168.246.193:8088

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值