hadoop单机版搭建
hadoop基础平台单击部署
author:lgm
EMAIL:2996244047@qq.com(qq邮箱一上来,瞬间low到起飞)
修改/etc/hosts
[root@westgis167~]# hostnamectl set-hostname hadoop
[root@westgis167~]# su -
[root@westgis167~]# vim /etc/hosts
10.103.104.167 westgis167
10.103.104.168 westgis168
......
[root@hadoop ~]#
配置ssh免密登陆
ssh -keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop
配置java环境变量
解压:tar -xzvf jdk-8u45-linux-x64.tar.gz -C
vim /etc/profile
export JAVA_HOME=/home/lgm/java(配置自己的路径)
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile(使环境变量生效)
java -version(验证java环境是否配置成功)
配置hadoop环境变量
解压:
tar -xzvf /data/hadoop-2.7.3.tar.gz
修改:
vim /etc/profile
#HADOOP环境变量
export HADOOP_HOME=/home/lgm/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
变量生效:
source /etc/profile
修改hadoop配置文件etc/hadoop/hadoop-env.sh
在该文件中找到export JAVA_HOME=${JAVA_HOME}这一行,将其注释,并将下一行内容加入
export JAVA_HOME=/home/lgm/jdk
#此内容指的是java环境变量,请以自己的为主。
修改hadoop配置文件etc/hadoop/core-site.xml,内容如下:
[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://westgis190</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lgm/hadoop/tmp/hadoop-${user.name}</value>
</property>
</configuration>
修改配置文件: etc/hadoop/hdfs-site.xml,内容如下:
[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/lgm/hadoop/hdfs/datanode</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>file: ///home/lgm/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file: ///home/lgm/hadoop/hdfs/ namesecondary</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
修改配置文件:etc/hadoop/yarn-site.xml,内容如下:
[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>westgis190</value>
</property>
</configuration>
修改配置文件: etc/hadoop/mapred-site.xml,内容如下:
[hadoop@master hadoop-2.6.5]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.staging.root.dir</name>
<value>lgm</value>
</property>
</configuration>
修改slaves
vim slaves
里面放置的是datanode节点信息
10.103.104.190
格式化HDFS
[hadoop@master ~]$ hdfs namenode -format
启动hadoop集群
进入到hadoop的sbin目录下,执行如下脚本:
[hadoop@master sbin]$ ./start-all.sh
验证集群是否启动成功
jps
#直接输入java携带的jps命令查看集群节点
通过WebUI查看集群是否成功启动
在hadoop master端启动firefox浏览器,输入master:50070验证:
通过WebUI验证yarn是否正常
在浏览器中输入http://master:8088进行查看