hadoop伪分布式安装（超详细）

洲小洲

已于 2022-04-26 00:00:23 修改

阅读量4.4k

点赞数 5

分类专栏：架构文章标签： hadoop 大数据

于 2022-04-25 23:37:20 首次发布

本文链接：https://blog.csdn.net/weixin_43907174/article/details/124417359

版权

架构专栏收录该内容

2 篇文章 2 订阅

订阅专栏

涉及的路径配置根据自己的实际情况配置
一、配置免密登录

1.安装openssh-server
sudo apt-get install openssh-server
2．生成密钥
ssh-keygen -t rsa
3.进行公钥复制
cat ./id_rsa.pub >> ./authorized_keys
4.登录localhost:
ssh localhost(不需要密码直接登录)

二、Java环境配置

2.在opt目录下创建一个hadoop的文件夹存放hadoop和jdk
sudo mkdir /opt/hadoop
3.将jdk-8u162-linux-x64.tar.gz解压至/opt/Hadoop
sudo tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/hadoop/
4.在/etc/profile中配置Java环境变量
export JAVA_HOME=/opt/hadoop/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
5.验证java环境

java -version
在这里插入图片描述
.

三、hadoop的配置

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /opt/hadoop/
2.在/etc/profile中配置hadoop环境变量
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3.验证hadoop

3.验证hadoop
在这里插入图片描述

4. Hadoop伪分布式下配置文件的设置

cd /opt/hadoop/hadoop-2.7.1/etc/hadoop/
修改core-site.xml
添加：
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/hadoop-2.7.1/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml
<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hadoop-2.7.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hadoop-2.7.1/tmp/dfs/data</value>
    </property>
</configuration>
修改 hadoop-env.sh
将内部 export JAVA_HOME=${JAVA_HOME} 修改为
export JAVA_HOME=/opt/hadoop/jdk1.8.0_162
5.格式化namenode
cd /opt/hadoop/hadoop-2.7.1
./bin/hdfs namenode -format