Hadoop[3.3.x]-1本地环境搭建

最新推荐文章于 2024-04-08 03:58:49 发布

雨潇先生

最新推荐文章于 2024-04-08 03:58:49 发布

阅读量485

点赞数

分类专栏：大数据 Hadoop 文章标签： hadoop hdfs 大数据 Hadoop本地环境 Hadoop单机模式

本文链接：https://blog.csdn.net/yuxiao97/article/details/130548059

版权

大数据同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

Hadoop

5 篇文章 0 订阅

订阅专栏

环境：Mac

Hadoop版本：Apache Hadoop 3.3.4

由于hadoop依赖java环境，所以需要事先安装好java。

Hadoop下载

进入官网进行下载Apache Hadoop

下载后解压到自己的规划的目录。

环境文件配置

Hadoop相关配置文件都在目录的../hadoop-3.3.4/etc/hadoop目录下。

hadoop-env.sh

注意此处一定要jdk1.8的版本，否则后续WebUI操作时会失败。

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home

core-site.xml

<configuration>
    <!-- 配置hdfs的访问地址 -->
		<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

HDFS启动

Hadoop相关服务的启动脚本在../hadoop-3.3.4/sbin目录下，该目录下有hdfs、yarn等相关服务的启动脚本，hdfs的启停脚本分别为start-dfs.sh和stop-dfs.sh。接下来先执行start-dfs.sh来启动hdfs。

请添加图片描述

此时执行后，会出现如下错误：

yuxiao@yuxiaoMBP sbin % ./start-dfs.sh 
Starting namenodes on [localhost]
localhost: yuxiao@localhost: Permission denied (publickey,password,keyboard-interactive).
Starting datanodes
localhost: yuxiao@localhost: Permission denied (publickey,password,keyboard-interactive).
Starting secondary namenodes [yuxiaoMBP]
yuxiaoMBP: ssh: Could not resolve hostname yuxiaombp: nodename nor servname provided, or not known
2023-05-07 19:58:52,690 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这是由于没有权限访问造成的，需要生成一个秘钥文件，如果有直接使用即可，秘钥文件生成后默认在在当前用户的.ssh目录下，名为：id_rsa.pub，此时通过cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys复制一个授权的key，这样Hadoop在启动的时候在启动用户的目录下就可以找到该文件，以便授权。