Hadoop集群安装配置

hadoop集群安装配置

Title： Hadoop集群安装配置
Author：liguangman
Email： 2990244047@qq.com

一：基础设置

创建用户：

useradd lgm -m

修改密码：

passwd lgm

进入创建好的用户：

su lgm

看此时的路径：

修改主机名：

Sudo vim /etc/hostname

把原机名改为master
e.g:

映射：

vim /etc/hosts

把安装包传进来：
1：从别的节点scp

2：从 xshell自带的文件传输从本地传**

二：JDK

解压安装包：

tar -zxvf jdkXXXXXXXXX
Mv jdkXXXXX(解压后的)  jdk

配置jdk的 环境变量：


使环境变量生效：

Source  ~/.bashrc

查看jdk是否安装成功：

Java -version

出现版本信息则成功

三：安装ssh服务（集群中主节点向其他节点免密，懒得弄互相免密了）

生成密钥：

把密钥追加到文件
把主节点的密钥传到各个从节点

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.103.104.168
ssh-copy-id -i ~/.ssh/id_rsa.pub 10.103.104.169
......

免密登录完成

四：安装hadoop

解压：

    tar -xzvf /data/hadoop-2.7.3.tar.gz 

改环境变量：

vim ~/.bashrc
 #HADOOP环境变量
export HADOOP_HOME=/home/lgm/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

环境变量生效：

source /etc/profile

修改hadoop配置文件etc/hadoop/hadoop-env.sh
在该文件中找到**export JAVA_HOME=${JAVA_HOME}**这一行，将其注释，并将下一行内容加入

export JAVA_HOME=/home/lgm/jdk
#此内容指的是java环境变量，请以自己的为主。

修改hadoop配置文件etc/hadoop/core-site.xml,内容如下：

 <property>
            <name>fs.hdfs.impl</name>
            <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
            <description>The FileSystem for hdfs: uris.</description>
       </property>
       <property>

            <name>hadoop.tmp.dir</name>

            <value>file:/home/lgm/hadoop/tmp</value>

        </property>

        <property>

            <name>fs.defaultFS</name>

            <value>hdfs://westgis167:9000</value>

        </property>
<property>
  <name>io.compression.codecs</name>
  <value>org.apache.hadoop.io.compress.GzipCodec,
    org.apache.hadoop.io.compress.DefaultCodec,
    org.apache.hadoop.io.compress.BZip2Codec,
    org.apache.hadoop.io.compress.SnappyCodec
  </value>
</property>



</configuration>

修改配置文件: etc/hadoop/hdfs-site.xml,内容如下：

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/lgm/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/lgm/hadoop/tmp/dfs/data</value>

    </property>

        <property>

        <name>dfs.blocksize</name>
<value>268435456</value> <!--大文件系统HDFS块大小为256M，默认为64MB-->

    </property>

    <property>

        <name>dfs.namenode.handler.count</name>

        <value>100</value> <!--更多的NameNode服务器线程处理来自DataNode的RPCS-->

    </property>

    <property>
        <name>dfs.datanode.max.transfer.threads</name> #dfs.datanode.max.xcievers和dfs.datanode.max.transfer.threads都是指的一个参数不
过前者是hdp1.0的叫法
        <value>12288</value>
    </property>

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
<property>
<name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name>
<value>1000</value>
</property>
</configuration>

修改配置文件:etc/hadoop/yarn-site.xml,内容如下：

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>westgis167</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>
<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
   <property>
        <name>yarn.resourcemanager.admin.address</name>
  <value>westgis167:8033</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
<value>westgis167:8032</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>westgis167:8031</value>
   </property>
<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>westgis167:8030</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>10</value>
   </property>
</configuration>

修改配置文件: etc/hadoop/mapred-site.xml,内容如下：

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

</property>

</configuration>

vim slaves
里面放置的是datanode节点信息

格式化HDFS

[hadoop@master ~]$ hdfs namenode -format

启动hadoop集群
进入到hadoop的sbin目录下，执行如下脚本：

[hadoop@master sbin]$ ./start-all.sh

---

jps
#直接输入java携带的jps命令