Hadoop伪分布式搭建

Hadoop伪分布式搭建

1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)

2、通过xshell正确连接Linux虚拟机

3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包

通过【xftp】上传到【/opt/】下

4、正确解压【java】以及【hadoop】的压缩文件

tar -zxvf jdk-8u112-linux-x64.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz

通过【ll】命令查询效果

5、修改【hadoop-2.7.3】以及【jdk1.8.0_112】文件夹名称为【hadoop】以及【jdk】

mv jdk1.8.0_112 jdk
mv hadoop-2.7.3 hadoop

通过【ls】命令查询效果

6、在【/etc/profile.d/】编写【hadoop-eco.sh】脚本文件

vi /etc/profile.d/hadoop-eco.sh

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

通过【cat】 查询编辑结果：

cat /etc/profile.d/hadoop-eco.sh

7、在【/opt/hadoop/etc/hadoop】的位置替换提供的【Hadoop】伪分布式的6个文件。

8、创建ssh免密登录

生成rsa的image

ssh-keygen -t rsa

拷贝到本地

ssh-copy-id -i root@localhost

登录测试

ssh root@localhost

退出测试

exit

9、创建生成存储文件夹

创建【/opt/hadoop-record/】文件夹，并在【/opt/hadoop-record/】文件夹下创建【name】【secondary】【data】【tmp】四个文件夹。

1 mkdir -p /opt/hadoop-record/name
2 bmkdir -p /opt/hadoop-record/secondary
3 mkdir -p /opt/hadoop-record/data
4 mkdir -p /opt/hadoop-record/tmp
5 ls /opt/hadoop-record/

10、执行【hadoop-eco.sh】脚本文件

source /etc/profile.d/hadoop-eco.sh

通过查看【java】版本以及【Hadoop】版本确认配置成功。

java -version
hadoop version

11、初始化并启动hdfs

hdfs namenode -format
start-all.sh
jps

12、关闭防火墙，并通过浏览器正确访问【ip:50070】

systemctl stop firewalld