Hadoop完全分布式搭建(超详细,傻瓜式安装)_hadoop完全分布式集群搭建(3)

tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/

2.修改环境变量:

vim  / etc/profile

三台虚拟机都要配置
在最下面添加

JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source /etc/profile

3.检验JDK:
输入javac:

 javac

在这里插入图片描述

输入 java -version:

java -version

在这里插入图片描述
4.配置hosts

vim /etc/hosts

在这里插入图片描述
ip地址根据自己虚拟机的ip与名称进行修改

5.做免密登录:

ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

ssh-copy-id bigdata1
ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata2
ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata3

输入代码后根据提示输入yes或者密码
6.分发jdk:

  scp -r /opt/module/jdk1.8.0_212/ root@bigdata2:/opt/module/
  scp -r /opt/module/jdk1.8.0_212/ root@bigdata3:/opt/module/

在这里插入图片描述
在这里插入图片描述

二,hadoop:

7.在bigdata1将Hadoop解压到/opt/module

tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

在这里插入图片描述
8.添加Hadoop的环境变量
三台虚拟机都要配置

 vim / etc/profile

 #HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root 

刷新环境变量

source / etc/proflie

9.配置文件在hadoop-3.1.3/etc/hadoop里面
①core-site.xml

   vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml  

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://bigdata1:8020</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-3.1.3/data</value>

</property>

<property>

<name>hadoop.http.staticuser.user</name>

<value>root</value>

</property>

</configuration>

②hdfs-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

<configuration>

 <property>

<name>dfs.namenode.http-address</name>

<value>bigdata1:9870</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>bigdata2:9868</value>

</property> 

</configuration> 

③yarn-site.xml

 vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml


![img](https://img-blog.csdnimg.cn/img_convert/fc1ca65db0c920b2e4c6362f49436dff.png)
![img](https://img-blog.csdnimg.cn/img_convert/3ea2d9eb88fc96167c1d893748e1349e.png)
![img](https://img-blog.csdnimg.cn/img_convert/1711834dcf29bcdce550751c3a28e2be.png)

**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**

**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

图片转存中...(img-4ncMMa5l-1714701983667)]

**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**

**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是 Hadoop 完全分布式搭建详细流程: 1. 准备工作 在开始搭建之前,需要准备好以下工作: - 安装好 Java 环境,并配置好 JAVA_HOME 环境变量。 - 下载 Hadoop 的稳定版本,并解压缩到指定目录。 2. 配置 Hadoop 进入 Hadoop 的解压目录,找到 conf 目录下的 hadoop-env.sh 文件,编辑此文件,将 JAVA_HOME 设置为你的 Java 安装目录。 接着,编辑 core-site.xml 文件,添加以下配置: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 其中,fs.defaultFS 指定 Hadoop 的默认文件系统,此处设置为 HDFS 的服务地址为 localhost:9000。 接着,编辑 hdfs-site.xml 文件,添加以下配置: ``` <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/hadoop-data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/hadoop-data/datanode</value> </property> </configuration> ``` 其中,dfs.replication 指定了数据块的副本数量,此处设置为 2;dfs.namenode.name.dir 指定了 NameNode 存储数据的目录;dfs.datanode.data.dir 指定了 DataNode 存储数据的目录。 3. 配置 SSH Hadoop分布式环境下需要使用 SSH 远程连接节点,因此需要配置 SSH。 首先,检查本机是否已经安装了 SSH,如果没有安装,则需要安装 SSH。 接着,生成 SSH 公钥和私钥: ``` ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ``` 这个命令会在 ~/.ssh 目录下生成 id_rsa 和 id_rsa.pub 两个文件,其中 id_rsa 为私钥,id_rsa.pub 为公钥。 将公钥拷贝到所有节点上,并将其添加到 authorized_keys 文件中: ``` ssh-copy-id user@node1 ssh-copy-id user@node2 ... ``` 4. 启动 Hadoop 启动 Hadoop 集群前,需要先格式化 NameNode,该操作会清空 NameNode 存储的所有数据: ``` bin/hdfs namenode -format ``` 接着,启动 Hadoop: ``` sbin/start-all.sh ``` 此时,Hadoop 集群就启动成功了。你可以通过以下命令查看 Hadoop 运行状态: ``` jps ``` 其中,NameNode 和 DataNode 分别代表 NameNode 和 DataNode 的进程。 5. 测试 Hadoop 最后,可以通过以下命令测试 Hadoop: ``` bin/hadoop fs -mkdir /test bin/hadoop fs -put /path/to/local/file /test/file bin/hadoop fs -cat /test/file ``` 其中,第一条命令是在 HDFS 中创建一个 test 目录,第二条命令是将本地文件上传到 HDFS 中,第三条命令是查看 HDFS 中的文件内容。 至此,Hadoop 完全分布式搭建的流程就结束了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值