CentOS6.5/7.5+Hadoop2.5.2/2.8.5基于VMware12/15搭建完全分布式集群

最新推荐文章于 2018-11-20 11:40:01 发布

Ta-ttoo

最新推荐文章于 2018-11-20 11:40:01 发布

阅读量329

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_39429714/article/details/83190300

版权

Linux系统配置

1、配置自动时钟同步
国际标准时间：cn.pool.ntp.org
阿里云服务器时间：aliyun.com

# crontab -e

键入以下代码：

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

手动同步时间

$ /usr/sbin/ntpdate cn.pool.ntp.org

修改系统时区：
https://www.cnblogs.com/comexchan/p/5495419.html
2、配置主机名

# vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

确定修改生效命令：

# hostname master

3、关闭防火墙

# setup

Firewall configuration => 空格 => OK
4、配置hosts列表

# vim /etc/hosts

192.168.180.1 master
192.168.180.2 slave
192.168.180.3 slave1

5、安装JDK
将JDK文件解压，放到usr/java目录下
配置环境变量：

$ vim .bash_profile

追加：

export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH

使改动生效命令：

$ source .bash_profile

测试：

$ java -version

以上步骤需在从节点同步配置
注意主机名的配置不同
6、免密钥登录配置
master节点：
在终端生成密钥，命令如下（一路点击回车）：

$ ssh-keygen -t rsa

复制公钥文件：

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改authorized_keys文件的权限：

$ chmod 600 ~/.ssh/authorized_keys

将其复制到从节点：

$ scp ~/.ssh/authorized_keys qq@slave:~/.ssh
$ scp ~/.ssh/authorized_keys qq@slave1:~/.ssh

验证免密钥登录：

$ ssh slave

Hadoop配置部署

1、解压安装包
2、配置环境变量hadoop-env.sh

$ vim hadoop-2.5.2/etc/hadoop/hadoop-env.sh

在文件靠前的部分找到JAVA_HOME，改为：

export JAVA_HOME=/usr/java/jdk1.7.0_71

3、配置环境变量yarn-env.sh
同上修改JAVA_HOME
4、配置核心组件core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
		<property>
				<name>fs.defaultFS</name>
				<value>hdfs://master:9000</value>
		</property>
		<property>
				<name>hadoop