Ubuntu+win11双系统下hadoop伪分布式安装

ccccc只有一个名字

已于 2024-09-12 08:32:51 修改

阅读量563

点赞数 25

文章标签： ubuntu linux 运维

于 2024-09-05 12:22:26 首次发布

本文链接：https://blog.csdn.net/weixin_74017833/article/details/141913836

版权

准备工作

有ubuntu

创建hadoop用户

SSH登陆权限设置

配置好java

下载hadoop

清华镜像源：清华大学开源软件镜像站 | Tsinghua Open Source Mirror

搜索apache，单击

下滑找到hadoop，单击

打开common文件

下载hadoop-2.10.2.tar.gz

终端输入

wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.2/hadoop-2.10.2.tar.gz

hadoop安装至/usr/local/

cd /usr/local/
sudo mv ./hadoop-2.10.2/ ./hadoop
sudo chown -R hadoop:hadoop ./hadoop

检查

cd /usr/local/hadoop
./bin/hadoop version

结果如下

hadoop环境配置

core-site.xml

进入我们安装的路径:配置文件位于/usr/local.hadoop/etc/hadoop/中的core-site.xml

cd /usr/local/hadoop
vim etc/hadoop/core-site.xml

光标放在需要修改的位置后，输入i

表示写入，其他vim命令：vim命令大全_vim常用命令-CSDN博客

<value>hdfs://wgze:9000</value>中wgze是你的主机名

！！！！注意：正确打开的.xml文件是有<configuration></configuration>的，空的就是路径错了 : q 退出


<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://wgze:9000</value>
    </property>
</configuration>

按enter，

输入：强制保存

: w ! sudo tee %

按L确定

输入：

: q

hadoop.tmp.dir表示存放临时数据的目录，即包括NameNode的数据，也包括DataNode的数据。路径任意指定
name为fs.defaultFS的值，表示hdfs路径的逻辑名称

hdfs.-site.xml

cd /usr/local/hadoop
vim etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

其他同上