入门级，Linux下的Hadoop集群的搭建

hadoop安装包：https://pan.baidu.com/s/1ma4AywSvK4sYHJZ_J40amQ
提取码：k91h
linux虚拟机安装及配置参考：https://blog.csdn.net/weixin_44147632/article/details/107770763
linuxj中jdk配置参考：https://blog.csdn.net/weixin_44147632/article/details/107796624
我这里以四台虚拟机集群演示，包括一台主机vwmaster，三台从机vwslave01，vwslave02，vwslave03
首先，虚拟机之前需要免密访问，请参考：关于设置主机名和免密登录

解压文件

在主机xshell下：在opt文件夹下的bigdata和install中，各新建一个hadoop文件夹，打开xftp6，将hadoop安装包拖入install中的hadoop文件中。

将hadoop-2.6.0-cdh5.14.2.tar.gz解压至bigdata文件夹中，并改名为hadoop260
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/
mv 解压后的文件/ hadoop260

修改hadoop260的权限：chown -R root:root hadoop260/

修改hadoop-env.sh配置文件

在hadoop260目录下vi etc/hadoop/hadoop-env.sh，进入配置文件
将原先的{JAVA_HOME}改为自己的jdk180所在目录，如图

配置hadoop fs系统文件

在hadoop260目录下vi etc/hadoop/core-site.xml，在<configuration>中添加：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://vwmaster:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>

hadoop replicas 备份

dfs.replication备份数量
dfs.hosts添加节点白名单
在hadoop260下，vi etc/hadoop/hdfs-site.xml进入，在<configuration>中添加：

<property>
<!--一般的四个虚拟机，2个备份就行-->
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

hadoop mapreduce 计算框架

在hadoop260下，cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml进入配置文件，在<configuration>中添加：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

hadoop yarn 管理调度

在hadoop260下，进入配置文件，vi etc/hadoop/yarn-site.xml在<configuration>中添加：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>vwmaster</value>
  </property>

修改hadoop slaves 主机名

[root@vwmaster hadoop260]# vi etc/hadoop/slaves
vwslave01
vwslave02
vwslave03

环境变量配置

vi /etc/profile
在JAVA_HOME行后添加：

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注意在PATH中的修改：export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

source /etc/profile 激活配置文件

hadoop 格式化 HDFS

进入cd /opt/bigdata/hadoop/hadoop260/bin/，输入hdfs namenode -format回车：
出现：

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at vwmaster/192.168.47.132
************************************************************/

则格式化成功

hadoop-native库

在install文件夹下，将hadoop-native-64-2.6.0.tar解压到bgdata/hadoop/hadoop260/lib/native/下
tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

启动 hadoop

cd /opt/bigdata/hadoop/hadoop260/sbin
./mr-jobhistory-daemon.sh start historyserver 启动historyserver
start-dfs.sh 启动dfs
start-yarn.sh 启动yarn
stop-all.sh 结束所有
./mr-jobhistory-daemon.sh stop historyserver 结束historyserver

查看hadoop服务状态

jps回车，主机中查看：
每一个从机中jps查看

则集群启动成功。

页面端口访问

http://192.168.47.132:50070

http://192.168.47.132:8088

http://192.168.47.132:19888

至此，hadoop集群启动成功。