Hadoop安装和伪分布模式配置

hadoop2.6.0安装包下载，通过Xfpt将压缩包托入虚拟机指定文件夹
链接：https://pan.baidu.com/s/1QSDqR3fSAvtAJLY7xl5s_A
提取码：lc2y

本文介绍hadoop伪分布式环境搭建，hadoop还有完全分布式环境。

Hadoop安装

1.进入压缩包文件所在目录解压安装包，hadoop-2.6.0-cdh5.14.2.tar.gz，移动解压后的文件hadoop-2.6.0-cdh5.14.2到软件目录下/opt/soft/hadoop260

[root@daibin1 opt]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
[root@daibin1 opt]# mv hadoop-2.6.0-cdh5.14.2 /opt/soft/hadoop260

2.进入 /opt/soft/hadoop260/etc/hadoop，进行jdk配置

cd /opt/soft/hadoop260/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/opt/soft/jdk180

Pseduo distributed Mode 伪分布模式

a.进入hadoop文件下的etc/hadoop，配置core-site.xml
fs.defaultFS = hdfs://192.168.220.129:9000 //此处端口与HBASE端口设成一样
hadoop.tmp.dir=/opt/soft/hadoop260/tmp //临时目录设置为本机hadoop文件下tmp文件

[root@daibin1 hadoop]# vi core-site.xml
<configuration>
        <property>
				<-默认本地文件系统->
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.56.110:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
		<-root用户以及同组用户访问权限设置->
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

b. 设置hadoop副本数，dfs.replication = 1 (副本个数，最少3个，伪分布只写1个)

[root@daibin1 hadoop]# vi hdfs-site.xml 

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

c. mapred-site.xml.template拷贝副本mapred-site.xml,在mapred-site.xml文件中新增配置
Mapreduce.framewok.name=yarn //设置映射化简模型框架为yarn

[root@daibin1 hadoop]# cp mapred-site.xml.template  mapred-site.xml
[root@daibin1 hadoop]# vi mapred-site.xml
<configuration>
 	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

d. 配置yarn管理节点
Yarn.resourcemanager.localhost=localhost //设置站点名称
Yarn.nodemanager.aux-service=mapreduce_shuffle //辅助管理节点
修改yarn-site.xml,在节点中增加如下配置。

[root@daibin1 hadoop]# vi yarn-site.xml   

<configuration>
	<property>
		<name>yarn.resourcemanager.localhost</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

e. 在系统文件profile中进行hadoop系统配置，HADOOP_HOME配置自己的hadoop文件路径

[root@daibin1 hadoop]# vi /etc/profile
<-shift+G 到文件底部->

unset i
unset -f pathmunge
export JAVA_HOME=/opt/soft/jdk180
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
<-新增hadoop系统配置   这里HADOOP_HOME要改成自己Hadoop文件所在路径->
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

重启profile

[root@daibin1 hadoop]# source /etc/profile

格式化NameNode

[root@daibin1 hadoop]# hadoop namenode -format

start-all.sh 启动hadoop，没有进行免密配置，需要进行密码输入，能看到各个服务程序一次启动。

[root@daibin1 hadoop]# start-all.sh

如果出现JAVA_HOME找不到的问题，需要修改hadoop260/etc/hadoop下的hadoop-env.sh 文件中的export JAVA_HOME=本机JDK安装路径。

通过jps命令查看当前java进程，hadoop正常启动需要NodeManager、ResourceManager、NameNode、SecondaryNameNode、DataNode进程服务。

[root@daibin1 hadoop]# jps
4448 NodeManager
5378 NameNode
3767 ResourceManager
3464 DataNode
3611 SecondaryNameNode

打开浏览器，地址栏：虚拟机IP：50070，能够访问成功，则配置成功。