Hadoop伪分布搭建

Hadoop伪分布搭建

一、 安装jdk，配置环境变量

1. 配置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

2. 生效环境变量

source /etc/profile

3. 测试jdk

java -version

二、上传hadoop

1. 上传及解压

tar -zxvaf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local

2. 配置hadoop 环境变量

export JAVA_HOME=/usr/local/jdk1.8.0_201
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 生效环境变量

source /etc/profile

三、修改主机名和ip映射关系

vim /etc/hostname
master

重启电脑，生效

reboot

配置ip域名映射

vim /etc/hosts
192.168.66.50 master

四、关闭防火墙

firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service

五 配置ssh免密码登录

1. 生成密钥对

rsa 是一种非对称算法

ssh-keygen -t rsa

2. 快捷配置

master 是主机名

ssh-copy-id master

六、配置hadoop-env.sh

目录
/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop

export JAVA_HOME=/usr/local/jdk1.8.0_201

七、配置core-site.xml

<configuration>
<!-- 指定hadoop 所在使用文件系统hdfs namenode老大的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 执行hadoop 运行时产生文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
</configuration>

八、配置hdfs-site.xml

#hdfs副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

九、格式化namenode

hadoop namenode -format

十、启动namenode

start-dfs.sh

十一、验证集群服务是否正常

HDFS webui界面：[http://192.168.88.23:50070]