Hadoop环境的搭建

最新推荐文章于 2023-06-03 22:19:13 发布

Jimmy_izz

最新推荐文章于 2023-06-03 22:19:13 发布

阅读量351

点赞数

文章标签： hadoop linux jdk

本文链接：https://blog.csdn.net/Jimmy_izz/article/details/106964173

版权

本文档详细介绍了在Linux环境下搭建Hadoop的过程，包括配置JDK、修改IP、主机名和主机列表，生成SSH密钥，配置Hadoop相关文件，设置环境变量，格式化HDFS以及启动Hadoop。通过验证网址可以检查HDFS和YARN的管理界面。

摘要由CSDN通过智能技术生成

Hadoop环境的搭建

首先准备搭环境所需的软件
- 配置jdk（可以参照博客：[Linux的安装，jdk、mysql的安装](https://blog.csdn.net/Jimmy_izz/article/details/106820849)）
Hadoop环境的搭建
网址验证：

首先准备搭环境所需的软件

在这里插入图片描述

配置jdk（可以参照博客：Linux的安装，jdk、mysql的安装）

Hadoop环境的搭建

首先修改IP地址,主机名和主机列表

//修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
//修改主机名
vi /etc/hostname
//修改主机列表
vi /etc/hosts

生成密钥

ssh-keygen -t rsa -P “”
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

配置解压后的Hadoop文件下的etc/hadoop目录下的文件

输入：vi hadoop-env.sh
修改JAVA_HOME的jdk安装目录

export JAVA_HOME=/opt/greeinstall/jdk18111

输入：vi core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.123:9000</value> //这里填写自己当前虚拟机的IP地址
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp</value>				//这里是临时文件的地址,需要有这个文件夹	
</property>
<property>
        <name>hadoop.proxyuser.root