搭建3个节点的hadoop集群（完全分布式部署）--1 安装虚拟机及hadoop组件

最新推荐文章于 2024-04-22 08:54:36 发布

qq_37581329

最新推荐文章于 2024-04-22 08:54:36 发布

阅读量1.5k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/qq_37581329/article/details/79737399

版权

本文详细记录了如何在VWMare上搭建一个包含3个节点的完全分布式hadoop集群。首先，安装并配置了CentOS虚拟机，包括Java JDK的安装与环境变量设置。接着，通过克隆虚拟机创建了3个节点，并设置了静态IP和hostname。然后，进行了IP与hostname映射、免密登录和时间同步。最后，在主节点上安装hadoop 2.7.5，配置相关文件并格式化namenode，启动集群。

摘要由CSDN通过智能技术生成

昨晚搞到晚上11.30，终于把hadoop组件安装好了，运行试了下，正常...

这里记录下完全分布式hadoop集群的搭建步骤。

1.VWMare平台安装

之前已经安装好了，这里不详细说明。

2.安装CentOS虚拟机

1）下载好centos ISO安装文件，我安装的是centos6.5版本，安装mini desk模式

2）安装好后，再安装VMTools，方便复制及操作centos系统。

3）安装Java JDK，我安装的版本是java 1.8.0_121

先下载jdk安装包文件，直接使用wegt java**************

java安装在目录 /opt/java1.8.0_121

配置环境变量：

vim /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_121
export JRE_HOME=/opt/jdk1.8.0_121/jre
export HADOOP_HOME=/opt/hadoop-2.7.5
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH然后

然后 source /etc/profile，使环境变量生效

运行java -version,javac -version看环境变量配置是否成功。

4）利用克隆方式，安装另外两个节点虚拟机。

到此