ubuntu系统hadoop伪分布搭建详细教程

BetterDream

已于 2023-05-06 16:37:06 修改

阅读量3.3k

点赞数 5

文章标签： hadoop ubuntu 大数据

于 2023-05-06 16:35:17 首次发布

本文链接：https://blog.csdn.net/Joker_Dgh/article/details/130497203

版权

文中jdk与hadoop版本可能与博主不同文中出现的所有jdk1.8.0_361和hadoop-2.7.7都要换成你所下载的jdk和hadoop版本，下方链接是我的jdk和hadoop压缩包自行提取。

链接：https://pan.baidu.com/s/132aoruf7SuUfqRisyR4TrQ?pwd=xu75
提取码：xu75

vim命令编辑器安装

书中是利用gedit进行文本编辑，利用xshell进行连接时不能使用gedit，而且有编辑状态下按上下左右键变成ABCD，所以个人喜欢使用vim命令编辑器。也可以跳过这一步，将文中vim命令全部换成gedit，vim安装命令如下：

sudo apt-get remove vim-common 卸载原先的vim-common组件。

sudo apt-get install vim 卸载完成后安装vim编辑器

SSH配置

sudo apt-get install ssh 安装ssh

ssh-keygen -t rsa 输入后一直回车即可

cd ~/.ssh/ 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa 会有提示，都按回车就可以

cat ~/.ssh/id_rsa.pub >> ~ /.ssh/authorized_keys # 加入授权

chmod 755 ~

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

安装完成后出现以下界面

ssh 主机名登陆测试一下使用hostname查看主机名

将jdk和hdoop移动到opt文件夹里（本人是放入了opt文件夹，可以根据自己喜好设置，记好这个位置多次要用）

cd /opt 切换到放置jdk和hadoop的文件夹

tar -zxvf jdk压缩包依次进行解压

tar -zxvf hadoop压缩包可以在当前目录下使用table键进行补全

JDK配置

sudo vim /etc/profile 编辑profile文件

按i进入编辑模式

在末尾添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

：wq 保存并退出

source /etc/profile 更新全局变量

java -version 查看jdk是否配置成功

出现以下界面即为JDK安装成功

hadoop 配置

sudo vim ~/.bashrc 编辑bashrc文件

按i进入编辑模式

添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export HADOOP_HOME=/opt/hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib "

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/

：wq 保存并退出

source ~/.bashrc 刷新环境变量

输入 hadoop version 查看是否安装成功

出现以下界面即为安装成功

hadoop 配置文件

cd /opt/hadoop-2.7.7/etc/hadoop 进入hadoop目录下进行配置

sudo vim hadoop-env.sh 打开hadoop-env.sh进行编辑

按i进入编辑模式

添加 export JAVA_HOME=/opt/jdk1.8.0_361

以下标红的字体都是根据本机ip地址和你jdk hadoop 所放置的文件夹自行更改

ifconfig #查看本机ip地址

以下几个配置文件的代码都要放到箭头所指的地方

切记配置文件不要打错字否则会出错

sudo vim yarn-site.xml 打开yarn-site.xml进行编辑

按i进入编辑模式



    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>192.168.244.129</value>

</property>



    <property>

        <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

</property>

sudo vim hdfs-site.xml 打开hdfs-site.xml进行编辑

按i进入编辑模式



    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>



    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/namenode</value>

    </property>



    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/datanode</value>

    </property>



    <property>

      <name>dfs.http-address</name>

      <value>192.168.244.129:50070</value>

    </property>

sudo vim core-site.xml    打开core-site.xml进行编辑

按i进入编辑模式

   

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.244.129:9000</value>

    </property>

     

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop2.7.7/dataNode_1_dir</value>

</property>

sudo vim mapred-site.xml    打开mapred-site.xml进行编辑

按i进入编辑模式



    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

最后修改

sudo vim /etc/profile #打开/etc/profile进行编辑

按i进入编辑模式

在末尾添加

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME=./hadoop-2.7.7

：wq # 保存并退出

#创键并格式化文件系统

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/namenode

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/datanode

sudo mkdir -p ./hadoop-2.7.7/dataNode_1_dir/datanode