【二、大数据环境篇】002、hadoop基础搭建（HDFS+YARN）

0、下载安装包，解压后，配置环境变量：
vim /etc/profile
JAVA_HOME=/app/data_platform/soft/jdk
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
export HADOOP_HOME=/app/data_platform/soft/hadoop
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin::$PATH

记得引用最新的环境变量
source  /etc/profile

1、OS版本

[es_user@host17pl1480 hadoop]$ cat /etc/redhat-release

CentOS Linux release 7.2.1511 (Core)

2、端口占用情况

sudo netstat -tunlp |grep 9000

lsof -i: 9000

3、配置情况

core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs:// host17pl1480 :9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/app/data_platform/data/hadoop_data/dfs/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>65536</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/app/data_platform/data/hadoop_data/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/app/data_platform/data/hadoop_data/dfs/data</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>host17pl1480:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>host17pl1480:19888</value>

</property>

</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value> host17pl1480:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value> host17pl1480:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value> host17pl1480:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value> host17pl1480:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value> host17pl1480:8088</value>

</property>

</configuration>

以上打包，拷贝到各个数据节点：

格式化：

hdfs namenode -format

启动服务：

start-all.sh 启动基本的hdfs和yarn（Mapreduce）服务，

说明：该命令重复执行，是不会停止已经运行的服务，但是可以将前面启动失败的服务启动起来。

stop-all.sh

JPS查看服务：

通过JPS命令查看启动的进程：如果报JDK/hadoop安装路径相关错误，则在启动脚本上添加JDK或hadoop的具体安装路径：

vim hadoop-env.sh    

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/app/data_platform/soft/jdk

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

export HADOOP_CONF_DIR=/app/data_platform/soft/hadoop/etc/hadoop

最后：

切记，有时候部分组件无法启动，并且web显示有同一个主机多个端口的实例在启动，则表示有其他用户曾经启动过Hadoop，需要切换到root用户查看，那些进程在占用端口，再将其停掉，重启hdfs，重启则可以。

补充：

50070 是web查看hdfs的端口 ： http://cnsz17pl1480:50070/

【彩蛋】

^A在终端下通常按CTRL+V+A组成。 那么用sed的时候照此输入即可，这样试试看：

sed 's/^A//' ；^A由ctrl+V+A获得。

sed 's/^A//g'

sed 's/^A/,/g' *_0 >> aaaa_all_sed.csv

记住，只能手敲 ctrl+V+A，不能拷贝！