Hadoop——完全分布式搭建

本节目标:

掌握Hadoop完全分布式搭建步骤

将NN、SNN、DN节点安装到同一台机器上,此种配置方式为伪分布式。而完全分布式相对于伪分布式而言,是将NN、SNN、DN安装到不同的机器上。在此讲解完全分布式搭建,完全分布式更贴近于实际生产环境。

所需软件:

JDK1.8、Hadoop2.7.6安装包

节点部署情况:

 

NN

SNN

DN

master(192.168.85.10)

l   

 

 

slave1(192.168.85.11)

 

l   

l   

slave2(192.168.85.12)

 

 

l   

slave3(192.168.85.13)

 

 

l   


1、对每个节点进行IP设置:

vi /etc/sysconfig/network-scriping/ifcfg-eth0

BOOTPROTO=static

IPADDR=192.168.188.10

NETMASK=255.255.255.0

GATEWAY=192.168.188.2

DNS1=202.96.199.133

重启:service network restart

检查:ifconfig

2、设置每个节点的主机名

vi /etc/sysconfig/network


同步设置每个节点的hosts映射文件

vi /etc/hosts


3、永久关闭防火墙

chkconfig iptables off

service iptables status

4、修改selinux

vi /etc/selinux/config

设置SELINUX=disabled

5、设置时间同步
在每个节点上执行:yum install ntp -y
ntpdate -u 时间服务器地址

时间服务器地址可采用以下其一:

ntp1.aliyun.com
ntp2.aliyun.com
ntp3.aliyun.com
ntp4.aliyun.com
ntp5.aliyun.com
ntp6.aliyun.com
ntp7.aliyun.com 

检查时间是否同步:date

6、SSH免密钥登录

yum -y install openssh-clients 安装ssh客户端
service sshd start 开启ssh服务
在每个节点上执行:
  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

将每个节点上的id_rsa.pub信息汇集到一个authorized_keys文件中,然后将这个文件分发到各个节点上,这样各个节点之间可以相互免密钥登录。

7、jdk1.8安装配置
安装:tar -zxvf jdk-8u171-linux-x64.tar.gz  -C /usr/local/src
改名:mv jdk1.8.0_171/ jdk1.8
vi ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc
检查:java -version

8、hadoop安装配置

安装:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/src

vi ~/.bashrc
export HADOOP_HOME=/usr/local/src/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

hadoop安装目录下创建目录tmp,作为hadoop的临时文件目录

修改配置文件
hadoop-env.sh   --> export JAVA_HOME=/usr/local/src/jdk1.8
core-site.xml   
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>         --->文件系统 访问地址和端口
    </property>
    <property>
        <name>hadoop.tmp.dir</name>          --->临时文件目录
        <value>/usr/local/src/hadoop-2.7.6/tmp</value>
    </property>
</configuration>

hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>         --->副本数
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>       --->secondnamenode 访问地址和端口
        <value>slave1:50090</value>
    </property>

</configuration>

vi masters   --->slave1            指定secondnamenode,不指定,默认在namenode所在节点
vi slaves    --->slave1 slave2 slave3

9、同步hadoop所有文件

格式化NN:hdfs namenode -format

启动HDFS:start-dfs.sh
查看进程:jps
webUI查看:
NN  ----> 192.168.85.10:50070
SNN ---->192.168.85.11:50090


以上步骤参考官方文档进行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值