Hadoop环境搭建以及试跑MapReduce作业

一：安装JDK

1.查看

java -version

查看当前系统自带的open jdk版本信息

2.删除

rpm -qa | grep java

查看包含java字符串的文件，其中删除类似下面这四个文件（不一定是四个）

java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64

包含noarch的文件不必删除，如下：

python-javapackages-3.4.1-11.el7.noarch
tzdata-java-2016g-2.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch

3.删除的具体命令如下：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64

执行完以上步骤后可以再次使用java -version查看是否已经删除成功。

4.下载JDK

http://www.oracle.com/technetwork/java/javase/downloads/index.html

5.安装

解压到/usr/java

tar -zxvf jdk-8u191-linux-x64.tar.gz

配置环境变量

vi /etc/profile

最后一行

#java environment
export JAVA_HOME=/usr/java/jdk1.8.0_191
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

让环境变量生效

source /etc/profile
java -version 检查是否成功

二：安装Hadoop

下载安装包
http://apache.claz.org/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
解压到usr/local/

tar -zxvf hadoop-3.1.1.tar.gz

重命名

mkdir hadoop
mv hadoop-3.1.1/* hadoop/

环境变量配置

vi /etc/profile.d/hadoop.sh

# set the hadoop home
export HADOOP_HOME="/usr/local/hadoop"
export HADOOP_MAPRED_HOME="/usr/local/hadoop"
export HADOOP_PID_DIR="${HADOOP_HOME}/pids"
export YARN_PID_DIR=${HADOOP_PID_DIR}

# set hadoop log dir
export HADOOP_LOG_DIR="/data/bigdata/log/hadoop-hdfs"
export YARN_LOG_DIR="/data/bigdata/log/hadoop-yarn"
export HADOOP_MAPRED_LOG_DIR="/data/bigdata/log/hadoop-mapred"

if [[ -n $HADOOP_HOME ]]; then
  export PATH=$HADOOP_HOME/bin:$PATH
  export PATH=$HADOOP_HOME/sbin:$PATH
fi

让环境变量生效

source /etc/profile
hadoop -version 检查是否成功

创建用户组和用户

sudo groupadd hadoop
sudo useradd -G hadoop hduser

创建日志文件夹

mkdir -p /data/bigdata/log
chown hduser /data/bigdata/log -R

设置密码

passwd hduser
123456

修改配置文件

修改core-site.xml

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
   </property>
   <property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
   </property>
   <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
    <value>hadoop</value>
   </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.web-proxy.address</name>
        <value>master:9001</value>
	</property>
</configuration>

修改hdfs-site.xml

<configuration>
	<property>
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
	</property>
</configuration>

配置/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_191 
export HADOOP_HOME=/usr/local/hadoop

格式化hdfs

./hadoop namenode -format

配置1

$ vi sbin/start-dfs.sh
$ vi sbin/stop-dfs.sh 

两处增加以下内容

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 

配置2

$ vi sbin/start-yarn.sh
$ vi sbin/stop-yarn.sh 

两处增加以下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
YARN_PROXYSERVER_USER=root

SSH免密码登录配置

vi /etc/hosts
192.168.1.30 master
192.168.1.31 node1
192.168.1.32 node2

1、生成公钥和私钥

在主节点中，执行：

ssh-keygen -trsa

然后，不断的按回车键。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

2、将公钥复制到其他node（node复制到master同理）

scp ~/.ssh/authorized_keys root@node1:~/.ssh/

scp ~/.ssh/authorized_keys root@node2:~/.ssh/

scp ~/.ssh/authorized_keys root@master:~/.ssh/

一切准备就绪，可以启动了

./start-all.sh

MapReduce实验

源码的百度云地址：/s/1o6EbAUQ

//引入使用到的依赖
export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.1.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-3.1.1.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-3.1.1.jar:~/MapReduceTutorial/SalesCountry/*:$HADOOP_HOME/lib/*"
//编译
javac -d . SalesMapper.java SalesCountryReducer.java SalesCountryDriver.java 
//设置程序入口
vi Manifest.txt
Main-Class: SalesCountry.SalesCountryDriver      
//打包
$JAVA_HOME/bin/jar cfm ProductSalePerCountry.jar Manifest.txt SalesCountry/*.class
//拷贝数据源到hdfs
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal Sales2014.csv /
//运行作业
$HADOOP_HOME/bin/hadoop jar ProductSalePerCountry.jar /Sales2014.csv /mapreduce_output_sales

集群查看界面

http://master:8088

hdfs管理界面

http://master:50070

如果50070访问不了，可能是namenode启动失败了，需要重新格式化HDFS
$HADOOP_HOME/bin/hadoop namenode -format
再重启应该就可以了。

详细见《NameNode启动不成功解决方案》

Datanode启动不了，需要保持ClusterID一致。
将name/current目录中VERSION的ClusterID复制到data/current目录中VERSION的ClusterID即可。

Datanode启动命令：$HADOOP_HOME/bin/hdfs --daemon start datanode

详细见《DataNode启动不成功解决方案》