hadoop2.6.0安装包下载,通过Xfpt将压缩包托入虚拟机指定文件夹
链接:https://pan.baidu.com/s/1QSDqR3fSAvtAJLY7xl5s_A
提取码:lc2y
本文介绍hadoop伪分布式环境搭建,hadoop还有完全分布式环境。
Hadoop安装
1.进入压缩包文件所在目录解压安装包,hadoop-2.6.0-cdh5.14.2.tar.gz,移动解压后的文件hadoop-2.6.0-cdh5.14.2到软件目录下/opt/soft/hadoop260
[root@daibin1 opt]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
[root@daibin1 opt]# mv hadoop-2.6.0-cdh5.14.2 /opt/soft/hadoop260
2.进入 /opt/soft/hadoop260/etc/hadoop,进行jdk配置
cd /opt/soft/hadoop260/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/opt/soft/jdk180
Pseduo distributed Mode 伪分布模式
a.进入hadoop文件下的etc/hadoop,配置core-site.xml
fs.defaultFS = hdfs://192.168.220.129:9000 //此处端口与HBASE端口设成一样
hadoop.tmp.dir=/opt/soft/hadoop260/tmp //临时目录设置为本机hadoop文件下tmp文件
[root@daibin1 hadoop]# vi core-site.xml
<configuration>
<property>
<-默认本地文件系统->
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.110:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop260/tmp</value>
</property>
<-root用户以及同组用户访问权限设置->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
b. 设置hadoop副本数,dfs.replication = 1 (副本个数,最少3个,伪分布只写1个)
[root@daibin1 hadoop]# vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
c. mapred-site.xml.template拷贝副本mapred-site.xml,在mapred-site.xml文件中新增配置
Mapreduce.framewok.name=yarn //设置映射化简模型框架为yarn
[root@daibin1 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@daibin1 hadoop]# vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
d. 配置yarn管理节点
Yarn.resourcemanager.localhost=localhost //设置站点名称
Yarn.nodemanager.aux-service=mapreduce_shuffle //辅助管理节点
修改yarn-site.xml,在节点中增加如下配置。
[root@daibin1 hadoop]# vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.localhost</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
e. 在系统文件profile中进行hadoop系统配置,HADOOP_HOME配置自己的hadoop文件路径
[root@daibin1 hadoop]# vi /etc/profile
<-shift+G 到文件底部->
unset i
unset -f pathmunge
export JAVA_HOME=/opt/soft/jdk180
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
<-新增hadoop系统配置 这里HADOOP_HOME要改成自己Hadoop文件所在路径->
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
重启profile
[root@daibin1 hadoop]# source /etc/profile
格式化NameNode
[root@daibin1 hadoop]# hadoop namenode -format
start-all.sh 启动hadoop,没有进行免密配置,需要进行密码输入,能看到各个服务程序一次启动。
[root@daibin1 hadoop]# start-all.sh
如果出现JAVA_HOME找不到的问题,需要修改hadoop260/etc/hadoop下的hadoop-env.sh 文件中的export JAVA_HOME=本机JDK安装路径。
通过jps命令查看当前java进程,hadoop正常启动需要NodeManager、ResourceManager、NameNode、SecondaryNameNode、DataNode进程服务。
[root@daibin1 hadoop]# jps
4448 NodeManager
5378 NameNode
3767 ResourceManager
3464 DataNode
3611 SecondaryNameNode
打开浏览器,地址栏:虚拟机IP:50070,能够访问成功,则配置成功。