阿里云服务器伪分布式hadoop安装

CentOS 7.3 64位

jdk 1.8.0_40

hadoop 2.6.5

1、在服务器上安装jdk

下载jdk-8u40-linux-x64.gz，解压后配置Java环境变量

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

PATH=$JAVA_HOME/bin

把这些添加到etc/profile 中，并更新：source profile

java -version如果显示java版本则安装成功

2、在服务器上安装hadoop,下载hadoop解压后配置hadoop环境变量（opt/hadoop是hadoop解压目录）

export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin

把这些添加到etc/profile 中，并更新：source profile

hadoop version如果显示java版本则安装成功

3、配置hadoop

想要外网也能访问hdfs,配置的时候就不要用localhost,内网IP是什么，就用什么，否则虽然用localhost也能搭建成功，但没办法在外网上访问，如果你在windows下写的Java程序也无法访问hdfs。

修改core_site.xml    xxx.xxx.xxx.xxx是你的服务器的内网IP

<configuration>
<property>

        <name>fs.defaultFS</name>

        <value>hdfs://xxx.xxx.xxx.xxx:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/hadoop/tmp</value>

    </property>

</configuration>

修改hdfs-site.xml

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>xxx.xxx.xxx.xxx:9001</value>
    </property>
    <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
 </property>
</configuration>
 

修改mapred-site.xml

<configuration>
<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>xxx.xxx.xxx.xxx:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>xxx.xxx.xxx.xxx:19888</value>

    </property>
<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

</configuration>

修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>xxx.xxx.xxx.xxx:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>xxx.xxx.xxx.xxx:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>xxx.xxx.xxx.xxx:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>xxx.xxx.xxx.xxx:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>xxx.xxx.xxx.xxx:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>6078</value>
    </property>
</configuration>

在slavers里删除localhost,添加内网IPxxx.xxx.xxx.xxx

在hadoop-env.sh里添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

完成。

hadoop namenode -format 格式化

在hadoop/sbin目录下 sh start-all.sh

jps查看

26277 DataNode
26696 NodeManager
26409 SecondaryNameNode
30109 Jps
26606 ResourceManager
26191 NameNode