HDFS集群搭建-伪分布式模式

使用安装包：centos7，jdk1.8 ，hadoop2.6.5

1、基础设施

      设置网络:

      设置IP

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

设置主机名

vi /etc/sysconfig/network

NETWORKING=yes
HSOTNAME=node01

设置本机IP到主机名的映射关系

vi /etc/hosts

192.168.89.129 node01
192.168.89.130 node02
192.168.89.131 node03
192.168.89.132 node04

关闭防火墙

systemctl stop firewalld

开机禁用防火墙

systemctl disable firewalld

关闭selinux

vi /etc/selinux/config

修改SELINUX=disabled

做时间同步

yum install ntp -y

修改配置文件

vi /etc/ntp.conf

启动

service ntpd start

设置开机启动

 chkconfig ntpd on

安装jdk

rpm -i jdk-8u161-linux-x64.rpm
或者
tar -vzxf jdk-8u161-linux-x64.tar.gz

如果使用解压tar包的方式安装则需要手动创建软连接

ln -s /usr/local/java  /usr/local/latest

配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:
${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

修改profile文件后要重新读取才生效

source /etc/profile

ssh 免密

执行以下命令，验证自己是否免密 ，并被动生成  /root/.ssh

ssh localhost

创建公钥

ssh-keygen -t dsa -P  ''  -f  ~/.ssh/id_dsa

把公钥追加到authorized_keys文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

即A想免密登录B，

A : ssh-keygen -t dsa -P  ''  -f  ~/.ssh/id_dsa

B : cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

B包含了A的公钥，A就可以免密的登录

2.Hadoop的配置（应用的搭建过程）

将hadoop安装包解压到/usr/local目录

配置环境变量，编辑profile文件，加入HADOOP_HOME，并重新加载

vi /etc/profile

export JAVA_HOME=/usr/local/latest
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:
${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

配置Hadoop的角色

进入hadoop目录

cd $HADOOP_HOME/etc/hadoop

给hadoop配置JAVA_HOME,不认ssh连接过去，找不到路径

//编辑
vi hadoop-env.sh
//加入JAVA_HOME
export JAVA_HOME=/usr/local/latest

给出NameNode 角色在哪里启动

//编辑
vi  core-site.xml
//加入配置
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://node01:9000</value>
</property>

配置hdfs，副本数为1

//编辑
vi hdfs-site.xml
//新增配置
//配置副本数
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
//NameNode 元数据目录
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
//DataNdoe目录
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
//secondary角色启动地址
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node01:50090</value>
</property>
//secondary磁盘路径
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>

配置DataNode角色在哪里启动

//编辑
vi slaves
//加入主机名
node01

3.初始化和启动

格式化NameNode,创建目录并初始化一个空的fsimage

hdfs namenode  -format

进入以下路径执行start-dfs.sh命令

第一次执行时，datanode和secondary角色会初始化创建自己的数据目录

//进入以下路径
cd /var/bigdata/hadoop/local/dfs
//启动所有角色
start-dfs.sh

修改windows中C:\Windows\System32\drivers\etc次目录下的hosts文件

//加入映射
192.168.89.129 node01
192.168.89.130 node02
192.168.89.131 node03
192.168.89.132 node04

浏览器输入地址：http://node01:50070 即可打开hadoop页面