Hadoop 谷歌云上实现分布式部署（ubantu 18.04）

最新推荐文章于 2024-04-13 08:02:29 发布

边海聆音

最新推荐文章于 2024-04-13 08:02:29 发布

阅读量371

点赞数

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_41665106/article/details/104316771

版权

本文介绍了如何在谷歌云上使用Ubuntu 18.04进行Hadoop 2.9.2的分布式部署。内容包括设置SSH免密码互联，配置主机，安装和配置Hadoop环境，特别是对hadoop配置文件的修改，如slaves、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。文中还强调了主机间的连接和Hadoop日志对于排查启动问题的重要性，并提供了启动和检查集群状态的步骤。

摘要由CSDN通过智能技术生成

首先需要对云端服务器的ssh进行设置以实现免密码互联：

谷歌云服务器设置多服务器间ssh免登录连接（ubantu 18.04）

然后需要设置host（这里有个大坑，就是所有的主机都应该通过内网ip互联，否则就会出现namenode或者datanode无法启动的现象）

sudo vim /etc/hosts

将文件内容改为这样（如果slave多就直接写在下一行就行）：

192.168.128.128   Master
192.168.128.129   Slave1
你的内网ip+主机名

在master主机上配置hadoop环境（下一步打包好之后直接分发给所有slave）

我这里使用hadoop2.9.2+jdk 8

cd ~

sudo apt-get update && \
sudo apt-get -y install openjdk-8-jre && \
sudo apt-get -y install openjdk-8-jdk
#下载hadoop
wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

解压缩：

tar -zxvf hadoop-2.9.2.tar.gz

将解压好的文件放到指定的位置(这个位置一定不能错，后面环境变量和hadoop都需要用)：

mv hadoop-2.9.2 /usr/local/hadoop

配置环境变量：


sudo vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CALSSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 用:wq!保存退出
source /etc/profile

#告诉hadoop java的位置
cd $HADOOP_HOME/etc/hadoop
sudo vi hadoop-env.sh
# 按a进入编辑模式，将以下内容复制进去 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  
# 输入:wq!退出