HADOOP集群搭建

最新推荐文章于 2024-06-20 16:12:27 发布

ShiXin_1

最新推荐文章于 2024-06-20 16:12:27 发布

阅读量170

点赞数

本文链接：https://blog.csdn.net/ShiXin_1/article/details/100125087

版权

本文档详细介绍了如何在Linux环境下搭建Hadoop集群，包括新建文件夹、修改主机名和内网域名映射、配置SSH免密登录、关闭防火墙、安装与配置JDK、部署Hadoop、修改配置文件、初始化HDFS以及启动所有服务的步骤。

摘要由CSDN通过智能技术生成

1首先新建文件夹路径
[root@hdp01 home]# mkdir -p /home/hadoop/apps
2修改主机名
vi /etc/sysconfig/network
3配置内网域名映射
vi /etc/hosts
4配置ssh免密登陆
1在hadoop文件下，主节点上生成秘钥
[root@hdp01 hadoop]# ssh-keygen
2将生成的秘钥发到hdp01、hdp02、hdp03上
[root@hdp01 hadoop]# ssh-copy-id hdp01
[root@hdp01 hadoop]# ssh-copy-id hdp02
[root@hdp01 hadoop]# ssh-copy-id hdp03
3在hdp01上测试一下，
[root@hdp01 hadoop]# ssh hdp02
[root@hdp01 hadoop]# ssh hdp03
4查看防火墙
[root@hdp03 ~]# service iptables status
关闭防火墙
service iptables stop
yum install lrzsz
rz (从windos上传送文件到Linux)
sz(从Linux上传送文件到windos)
通过rz将jdk，HADOOP压缩包发到 home/hadoop/apps

JDK安装
在apps文件下解压 jdk
[root@hdp01apps]#tar -zxvf jdk-8u181-linux-x64.tar.gz
配置环境变量
[root@hdp01 jdk1.8.0_181]# vi /etc/profile
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_181