ubuntu中伪分布式hadoop搭建

1.安装ssh

apt-get install openssh-server

2.配置免密登录

ssh-keygen -t rsa

敲击三下回车

ssh-copy-id localhost

3.测试是否成功配置免密登录

ssh localhost

4.安装jdk

在/opt下新建一个文件夹用于存放软件

sudo mkdir /opt/software

修改该文件夹的所有者

sudo chown 你的用户名:你的用户名 /opt/software

sudo tar -zxvf jdk压缩包 -C /opt/software

配置环境变量

sudo vim /etc/profile

在尾部添加

#JAVA_HOME
export JAVA_HOME=/opt/software/你的jdk文件名
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source /etc/profile

测试jdk是否安装成功

java -version

如果没有出现版本信息一定是环境变量配置有问题。检查修改之后重新刷新

5.安装hadoop

sudo tar -zxvf jdk压缩包 -C /opt/software

配置环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/software/你的hadoop文件名
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

刷新环境变量

source /etc/profile

测试

hadoop version

6.配置hadoop的配置文件

进入hadoop配置文件的目录

cd $HADOOP_HOME/etc/hadoop 

sudo vim core-site.xml

<!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/software/你的hadoop文件名/data</value>
 </property>

sudo vim hdfs-site.xml

 

 <!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>localhost:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>localhost:9868</value>
</property>

sudo vim yarn-site.xml

<!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>localhost</value>
 </property>

sudo vim mapred-site.xml

  <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

sudo vim hadoop-env.sh

大概在54行左右，添加jdk路径

保险起见将hadoop文件夹权限修改为777，否则可能在格式化时由于没有权限创建data文件夹而失败

sudo chmod 777 $HADOOP_HOME

进行namenode格式化

hdfs namenode -format

格式化成功后hadoop文件夹下会出现data文件夹

如果后期需要重新格式化，必须删除data以及logs

最后。启动hadoop

start-all.sh