hadoop完全分布式 Mini版本

最新推荐文章于 2022-08-28 04:48:30 发布

梦兰伯特

最新推荐文章于 2022-08-28 04:48:30 发布

阅读量428

点赞数 1

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_35956539/article/details/79492691

版权

hadoop 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

环境:虚拟机3个

主节点 n1 192.168.0.128

子节点n2 192.168.0.129

子节点n3 192.168.0.130

linux：centos 7 64 mini版本

一、vm 虚拟机配置和centos配置

1、vm虚拟机配置

1、安装VM(安装步骤忽略)

1.1打开vm 点击创建新的虚拟机

1.2 自定义高级下一步

1.3选择 虚拟机硬件兼容性 默认  下一步

1.4选择 稍后安装操作系统 下一步
1.5 选择linux centos 7 64位

1.6虚拟机名称n1 位置自己选 下一步

1.7处理器配置默认 下一步

1.8 虚拟机内存 2G 下一步

1.9 默认NAT模式 下一步

1.10 I/O控制  默认 下一步

1.11 虚拟机硬盘类型 默认下一步

1.12 选择硬盘  创建新的 虚拟机磁盘

1.13 磁盘管理 默认20G 下一步

1.14 磁盘文件 默认 下一步

1.15 自定义硬件  声卡打印机 移出，新的 DVD 使用ISO映射文件 选择 mini版本 点击完成。

2、centos配置

1、welcome to centos7 界面默认下一步(continue)
2、选择LANGUAGE SUPPORT进去后再点Done

3、选择INSTALLATION DESTINATION 点击硬盘图标，在Other Storage Options 选择 i will configure partitioning，点击done 进入自定义磁盘配置点击+ 对/boot 分配500，swap 分配4000，对/ 分配剩下的 (不用填)。然后点击Done 选择Accept Changes

4、返回页面点击同意(Begin Installation)

5、点击ROOT PASSWORD 设置密码点击Done后自动安装 reboot重启

二基本配置

1、部署网络安装JDK 关闭防火墙用winscp连接

2、修改网络名 hostnamectl --static set-hostname n1

n1为主机名

reboot重启

3、vi etc/hosts配置

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4  
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  
192.168.146.128 n1  
192.168.146.129 n2  
192.168.146.130 n3

4、克隆虚拟机n2 n3
关闭虚拟机n1
打开VMware 选中n1即可-克隆源-虚拟机中的当前状态-创建链接克隆-名称改为n2 位置选跟n1一样的
变更 cd /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=改成129 130

重新启动服务 service network restart

修改主机名n2 n3重启

5、 SSH无密码登录

n1:ssh-keygen -t rsa一直回车 ssh-copy-id n1/n2/n3 选择yes就可以就不需要密码了

n2:ssh-keygen -t rsa一直回车 ssh-copy-id n1/n2/n3 选择yes就可以就不需要密码了

n3:ssh-keygen -t rsa一直回车 ssh-copy-id n1/n2/n3 选择yes就可以就不需要密码了

6、ect/profile环境变量

JAVA_HOME=/usr/java/jdk1.7.0_80/  
HADOOP_HOME=/usr/local/hadoop/  
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
  
export JAVA_HOME CLASS_PATH  PATH

三、安装hadoop

1、解压 tar -zxvf /tmp/hadoop-2.6.5.tar.gz -C /usr/local/ 修改名字mv hadoop-2.6.5 hadoop

2、手动创建文件夹进入cd hadoop，mkdir -p tmp,mkdir -p dfs ,mkdir -p dfs/data ,mkdir -p dfs/name.

3、修改/usr/local/hadoop/etc/hadoop 里面的7个文件

/usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.146.128:9000</value>
    </property>
     <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value> 
    </property>
     <property>    
        <name>io.file.buffer.size</name> 
        <value>131702</value>
      </property>
</configuration>

/usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
     <property>
             <name>dfs.namenode.name.dir</name> 
             <value>file:/usr/local/hadoop/dfs/name</value>
    </property>
     <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/dfs/data</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
     <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>192.168.146.128:9001</value>
    </property>
     <property>
           <name>dfs.webhdfs.enabled</name>
           <value>true</value>
      </property>
</configuration>

/usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>
       <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
       <property>
              <name>mapreduce.jobhistory.address</name>
              <value>192.168.146.128:10020</value>
       </property>
       <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <value>192.168.146.128:19888</value>
       </property>
</configuration>

/usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffile.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
            <name>yarn.resourcemanager.address</name>
            <value>192.168.146.128:8032</value>
    </property> 
    <property>    
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>192.168.146.128:8030</value>    
    </property>
 <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.146.128:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.146.128:8033</value>
    </property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.146.128:8088</value>
    </property>
     <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
<property>  
   <name>yarn.scheduler.minimum-allocation-mb</name>  
   <value>2048</value>  
</property>  
<property>  
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <value>2.1</value>  
</property>
</configuration>

/usr/local/hadoop/etc/hadoop/slaves