Hadoop部署（Ubuntu）

已于 2023-05-18 11:28:09 修改
阅读量1.8k 收藏 9
点赞数 1
分类专栏： 大数据 教程 文章标签： 服务器 hadoop linux
于 2023-05-18 09:06:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/michael_f2008/article/details/130739216
版权
该文详细介绍了在Linux环境下配置Hadoop集群的步骤，包括Java环境配置、Hadoop环境变量设置、hostname与hosts文件的修改、服务器间免密登录的建立、存储目录的创建以及各个配置文件的核心参数设定。最后，文章提到了如何格式化文件系统、启动和停止Hadoop服务，以及WebUI的访问方式。
摘要由CSDN通过智能技术生成

文章目录

1. 准备工作

1.1 配置Java环境变量

1.1.1 下载

JDK官网下载

1.1.2 解压

命令：

tar -zxvf jdk-8u211-linux-x64.tar.gz -C /home/user/tools

1.1.3 配置环境变量

命令：

vim .bashrc

在.bashrc文件中添加以下内容：

export JAVA_HOME=/home/user/tools/jdk1.8.0_211
export JRE_HOME=/home/user/tools/jdk1.8.0_211/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

1.1.4 使环境变量生效

命令：

source .bashrc

注意：所有节点都要配置

1.2 配置Hadoop环境变量

修改.bashrc文件：

export JAVA_HOME=/home/user/tools/jdk1.8.0_211
export JRE_HOME=/home/user/tools/jdk1.8.0_211/jre
export HADOOP_HOME=/home/user/tools/hadoop-2.10.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/bin

使环境变量生效，
命令：

source .bashrc

1.3 配置hostname

修改3个节点的/etc/hostname文件，分别命名为hadoop01、hadoop02、hadoop03

1.4 配置hosts

修改3个节点的/etc/hosts文件，将IP地址与hostname相对应

172.16.70.165 hadoop01
172.16.70.166 hadoop02
172.16.70.167 hadoop03

1.5 设置服务器间免密登录

1.5.1 在A服务器上生成公钥和私钥

命令：

ssh-keygen -t rsa

1.5.2 将A服务器的公钥发送到B服务器上

命令：

ssh-copy-id -i ~/.ssh/id_rsa.pub user@<B服务器的IP>

1.6 创建存储目录

将一块较大的磁盘挂载到/data/路径下，并修改/data/目录的权限，
命令：

chown –R user:user /data

1.6.1 Hadoop临时文件目录

在全部3个节点上，在/data/路径下，
命令：

sudo mkdir tmp
sudo chmod 777 -R tmp/

1.6.2 Hadoop日志目录

在全部3个节点上，在/data/路径下，
命令：

sudo mkdir hadoop-logs
sudo chmod 777 -R hadoop-logs/

1.6.3 YARN日志目录

在全部3个节点上，在/data/路径下，
命令：

sudo mkdir yarn-logs
sudo chmod 777 -R yarn-logs/

2. 安装包下载及解压

2.1 官网下载

Hadoop官网下载地址

2.2 解压

在全部3个节点上，
命令：

tar -zxvf hadoop-2.10.1.tar.gz -C /home/user/tools/hadoop-2.10.1/

3. 配置

3.1 core-site.xml文件

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/core-site.xml文件：

<configuration>
	<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<!-- 指定Hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/data/tmp</value>
	</property>
</configuration>

3.2 hadoop-env.sh脚本

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/hadoop-env.sh脚本，添加环境变量：

export JAVA_HOME=/home/user/tools/jdk1.8.0_211（即JDK的安装路径）
export HADOOP_LOG_DIR=/data/hadoop-logs

3.3 hdfs-site.xml文件

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/hdfs-site.xml文件：

<configuration>
    <!-- 指定HDFS副本数-->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<!-- 指定Hadoop辅助名称节点主机配置 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>172.16.80.21:50090</value>
	</property>
</configuration>

3.4 mapred-env.sh脚本

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/mapred-env.sh脚本，添加环境变量：

export JAVA_HOME=/home/user/tools/jdk1.8.0_211（即JDK的安装路径）

3.5 mapred-site.xml文件

在主节点上的~/hadoop-2.10.1/etc/hadoop/路径下，
命令：

cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml文件：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

3.6 yarn-env.sh脚本

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/yarn-env.sh脚本，添加环境变量：

export JAVA_HOME=/home/user/tools/jdk1.8.0_211（即JDK的安装路径）
YARN_LOG_DIR="/data/yarn-logs"

3.7 yarn-site.xml文件

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/yarn-site.xml文件：

<configuration>
	<!-- Reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<!-- 是否开启虚拟内存监控 -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<!-- 指定YARN队列的可使用的CPU核数（75%） -->
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>6</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-vcores</name>
		<value>6</value>
	</property>
	<!-- 指定YARN队列的可使用的内存资源量（75%） -->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>25600</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>8192</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.resource.mb</name>
		<value>1024</value>
	</property>
	<property>　　
		<name>mapreduce.map.memory.mb</name>
		<value>1536</value>
	</property>
	<property>　　
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx1024M</value>
	</property>
	<property>　　
		<name>mapreduce.reduce.memory.mb</name>
		<value>3072</value>
	</property>
	<property>　　
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx2560M</value>
	</property>
	<!-- 开启日志聚合 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 日志保留时间（7天） -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

3.8 slaves文件

在主节点上，
修改~/hadoop-2.10.1/etc/hadoop/slaves文件，添加其它节点的IP地址：

172.16.70.166
172.16.70.167

注意：需要删除slaves文件中原来localhost那一行

4. 复制配置文件

将配置文件复制到其它2个节点上，
命令：

scp -r /home/user/tools/hadoop-2.10.1/ 172.16.70.166:`pwd`
scp -r /home/user/tools/hadoop-2.10.1/ 172.16.70.167:`pwd`

5. 格式化文件系统

注意：此步骤仅需在第一次安装时执行
在主节点的~/hadoop-2.10.1/bin/路径下：
命令：

./hadoop namenode -format

或

./hdfs namenode –format

6. 启动

在主节点上，在~/hadoop-2.10.1/sbin/路径下，
命令：

./start-all.sh

7. 停止

在主节点上，在~/hadoop-2.10.1/sbin/路径下，
命令：

./stop-all.sh

8. Web URL

  • Hadoop：http://<节点IP>:50070/
  • YARN：http://<节点IP>:8088/
大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析_ubuntu下安装hadop
2401_84166567的博客
05-01 629
Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 Oracle（HotSpot）的 JDK / JRE 上构建和测试的。对于 Hadoop 的伪分布式和全分布式而言，Hadoop 的名称节点（NameNode）需要启动集群中所有机器的 Hadoop 的守护进程，这个过程可以通过 SSH 登陆来实现。对于伪分布式，仅需修改 core-site.xml、hdfs-site.xml 文件，详细修改如下。
Hadoop 集群搭建---部署 Ubuntu
m0_57937405的博客
11-17 684
下载 Ubuntu 18 镜像 Index of /ubuntu-releases/18.04/ 打开 VMware 点击【创建新的虚拟机】 选择【典型】 选择前边下载好的 Ubuntu 镜像 设置服务器名称和用户名 设置虚拟机名称和存储位置 设置磁盘容量 选择 English 作为系统语言 不升级到最新版本 使用默认的网络配置 不使用网络代理 配置 Ubuntu 的镜像地址 http...
ubuntu搭建hadoop
03-25
NULL 博文链接：https://ouyida3.iteye.com/blog/1156589
hadoop学习---3.hadoop在ubuntu下的安装配置
weixin_34352005的博客
10-23 251
   前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu   我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机上在安装虚拟机，然后安装ubuntu 具体安装过程就不描述了，不过安...
Ubuntu上Hadoop集群安装和搭建（三台虚拟机，保姆级教程）
金州饿霸吃不饱的博客
10-09 1305
注意：这里不要使用克隆去克隆虚拟机，因为ub克隆后网络会出现问题，所建议大家直接安装三台虚拟机。
Ubuntu部署Hadoop环境
天然玩家的博客
01-01 1504
0 环境 Ubuntu18.04 openssh-server Hadoop3.0.2 JDK1.8.0_191 1 ssh配置 1.0 安装openssh-server sudo apt-get install openssh-server 1.2 配置ssh登录 # 进入ssh目录 cd ~/.ssh # 使用rsa算法生成秘钥和公钥对 ssh-keygen -t rsa # 授...
Ubuntu下配置Hadoop环境
mimi886的专栏
02-04 414
实现真正的分布式的hadoop，并不是伪分布式的。 一、系统与配置   共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0 192.168.1.10 NameNode master （master） 192.168.1.20 DateNode slave1（Slave） 我的用户名就hado
Ubuntu的Linux系统部署Hadoop平台
最新发布
m0_75166157的博客
10-12 730
Ubuntu的Linux系统部署Hadoop平台，及其注意事项
Hadoop部署实践所需的安装包（Ubuntu下的安装包）
05-09
1、apache-hive-2.3.5-bin.tar.gz 2、hadoop-2.7.3.tar.gz 3、jdk-8u162-linux-x64.tar.gz 4、mysql-connector-java-5.1.24.tar.gz 5、sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Ubuntu下hadoop部署
风起于青萍之末，折秀于林
07-11 1062
原文转载自：    http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html    （部分地方做了修改）  前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubun
ubuntu下部署hadoop
goobycle
10-27 501
转自：http://doc.chinaunix.net/linux/201008/763974.shtml 关于linux下hadoop的部署网上有很多教程，但是同一教程对于不同的机器可能效果迥异，而很多和我一样都新手都不愿意去follow官方的 英文部署。因此在这里记下我部署hadoop的过程，兼听则明，希望对大家有所帮助。 　　*******************************
搭建hadoop完全分布（ubuntu）
weixin_58502382的博客
07-16 1584
5、 修改配置文件($HADOOP_HOME为/home/master/Downloads/hadoop, $JAVA_HOME为/home/master/Downloads/jdk)打开$ZOOKEEPER_HOME，新建data文件夹，并在conf文件，复制zoo_sample.cfg为zoo.cfg文件，并修改配置参数。（1）在 $HADOOP_HOME/etc/hadoop配置hadoop-env.sh文件【$JAVA_HOME，$HADOOP_HOME。
Ubuntu安装Hadoop
Ever_glow的博客
03-13 4569
首先准备两个安装包jdk和Hadoop，注意不要用Hadoop-src的tar包，需要的话可以联系我。 注意：本文的所有环境变量以及文件夹命名都是我自主命名，请一定要注意自己配置时的设置 一、安装JDK 先将jdk包移动到/usr/local（上传时可直接上传到此处），然后解压。 此处出现了二进制文件无法读取的问题，百度说是32位机器和64位安装包不匹配，所以使用了openjdk代替。 安装命令 ： apt-yinstallopenjdk-8-jreopenjdk-8-jdk 配置环...
Ubuntu中Hadoop安装配置
lwx666sl的博客
04-28 1641
配置单个容器，首先需要进入容器，在这之后的操作都是默认是进入容器内部的操作，所以你一定要进入容器，不要在外面自己一通瞎几把输入，然后发现配置了半天是在配置服务器本身而不是在配置容器，你将原地气哭。生成公钥，输入一下指令后，一直回车，不用输入其他内容，这样生成的密钥文件会保存在默认位置 一定要复制这个指令，因为指令里面的P是大写，要是小写会报错。如果有大佬知道，希望大佬不吝赐教。要配置SSH的免密登录，然后后面的容器都是根据这个镜像启动的，就是一个模板出来的，具有相同的密钥，这样他们互相可以免密通信了。
ubuntu上面部署hadoop
qq_54525448的博客
04-14 608
ubuntu上面部署hadoop
Ubuntu下配置hadoop环境
K-night的专栏
01-27 1013
实现真正的分布式的hadoop，并不是伪分布式的。 一、系统与配置 共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0 192.168.1.10　　NameNode　　master （master） 192.168.1.20　　DateNode　　 slave1（Slave）
Ubuntu_Hadoop分布部署.docx
04-12
Ubuntu Hadoop分布式部署 Hadoop 是一个开源的分布式计算平台，由Apache基金会维护。它提供了一个框架来处理大量数据，并且可以在廉价的计算机集群上运行。本文将介绍如何在Ubuntu系统上部署Hadoop分布式系统。 ...
Ubuntu_Hadoop部署笔记
02-22
单机模式部署 一、Jdk安装 命令：sudo apt-get install openjdk-6-jdk 目录：/usr/lib/jvm/java-6-openjdk 配置环境变量： sudo gedit /etc/environment 在其中添加如下两行： CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/lib JAVA_HOME=/usr/lib/jvm/java-6-openjdk PATH添加：:/usr/lib/jvm/java-6-openjdk 二、新增hadoop用户 命令：sudo addgroup hadoop1001 sudo adduser --ingroup hadoop hadoop sudo gedit etc/sudoers 添加配置： 在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL使hadoop用户具有root权限 （id：查看用户） 三、ssh配置 用hadoop账户进行登录。 安装openssh-server：sudo apt-get install openssh-server 建立SSH KEY：ssh-keygen -t rsa --P "" 启用SSH KEY：cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys sudo /etc/init.d/ssh reload 验证SSH的配置：ssh localhost
（初学者强烈推荐）Ubuntu 配置hadoop 超详细教程（全过程）
热门推荐
记录和分享、
11-19 4万+
本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现不同的情况异常等，如有问题可询问博主或百度查找解决方法。
ubuntu中配置hadoop
chuanjiaoye5017的博客
08-01 177
单机模式部署 一、Jdk安装 命令：sudo apt-get install openjdk-6-jdk 目录：/usr/lib/jvm/java-6-openjdk 配置环境变量： sudo gedit /etc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值