Hadoop完全分布式模式安装

 

完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上。

 

一 搭建前准备

（1）虚拟机

https://pan.baidu.com/s/1tsRSZlH59d1BjixSS6mERg​pan.baidu.com

a 解压vmservice.rar文件（记得所有文件放在英文目录下）

b 打开bdbase虚拟机

c 克隆虚拟机 bdbase那个右键-管理-克隆

1 通过nodesktop快照方式克隆 2创建完整克隆 3命名为node01（建议都这样命名）

 

二 破解SecureCRT软件

https://pan.baidu.com/s/1-poJsQY9ETU4JpOENAkNYA​pan.baidu.com

（1）将补丁文件里面的东西和注册机全部拷贝到第一个文件夹中，替换使用

（2）使用注册机

先Path打开SecureCRT.exe和LicenseHelper.exe

接着Generate和copy

 

三 搭建node01虚拟机配置

（1）登录 root 123456

（2）修改主机名（vi编辑器，按a进入编辑，Esc+Shift在按两下z,保存退出）

vi /etc/sysconfig/network

（3）修改ip地址（输入ifconfig查看ip地址为192.168.17.129）

vi /etc/sysconfig/network-scripts/ifcfg-eth0

注释U H两行，修改ip为192.168.17.129

(4)修改网卡

vi /etc/udev/rules.d/70-persistent-net.rules

注释上面一行，把最后一行eth1改为eth0

(5)修改映射关系

vi /etc/hosts

（6）关闭防火墙

service iptables stop chkconfig iptables off

（7）重启reboot

（8）使用SecureCRT上次jdk和hadoop

直接把hadoop-2.6.4.tar.gz和jdk-7u80-linux-x64.tar.gz拖入便可以上传

命令行查看文件，看是否上传主机

cd \

进入\目录

mkdir bd

新建bd文件夹

分别解压上传的文件

tar -zxvf ~/hadoop-2.6.4.tar.gz -C /bd tar -zxvf ~/jdk-7u80-linux-x64.tar.gz -C /bd

重命名

mv hadoop-2.6.4 hadoop mv jdk1.7.0_80 jdk1.7

(9) 配置环境变量

cd /etc

进入etc目录

vi /profile

把下面加入头部

export JAVA_HOME=/bd/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/bd/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

改了配置文件记得更新一下啊

source profile

（10）使用Editplus软件远程配置Hadoop（连接FTP服务器

https://pan.baidu.com/s/1PeO_2G05r8bBG0Xg6akJ2g​pan.baidu.com

进入/bd/hadoop/etc/hadoop下

a hadoop-env.sh

25行写

JAVA_HOME=/bd/jdk1.7

b core-site.xml

填入

<property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property>

 

c hdfs-site.xml

填入

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.secondary.http.address</name> <value>node01:50090</value> </property>

 

d mapred-site.xml(去掉源文件后缀template)

 

填入

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

 

e yarn-site.xml

填入

<property> <name>yarn.resourcemanager.hostname</name> <value>node01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

 

f Slaves

 

 

三 克隆另外两台服务器

主机名

vi /etc/sysconfig/network

ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

网卡

vi /etc/udev/rules.d/70-persistent-net.rules

只需要这三行代码，其他不用动

以此配置主机名ip

 

node02 192.168.17.130

 

Node03 192.168.17.131

 

 

 

四 配置ssh免密登录

ssh-keygen -t rsa ssh-copy-id node01 ssh-copy-id node02 ssh-copy-id node03

 

 

五 格式化namenode

hadoop namenode -format

 

 

启动hdfs

sh start-all.sh

访问192.168.17.129：50070

 

 

停止hdfs

sh stop-all.sh