Hadoop环境安装教程（三）

最新推荐文章于 2023-07-12 02:19:44 发布
最新推荐文章于 2023-07-12 02:19:44 发布
阅读量271 收藏 1
点赞数
分类专栏： 自学日记 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_lixiansen/article/details/100690152
版权

hadoop文档

http://hadoop.apache.org/docs/

StandAlone环境搭建

运行服务服务器IP
NameNode192.168.52.100
SecondaryNameNode192.168.52.100
DataNode192.168.52.100
ResourceManager192.168.52.100
NodeManager192.168.52.100

下载链接：

http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

解压命令

cd /export/softwares

tar -zxvf hadoop-2.7.5.tar.gz -C …/servers/

在这里插入图片描述
修改core-site.xml
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://192.168.52.100:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   -->
	<!--   集群动态上下线
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/deny_host</value>
	</property>
	 -->
	
	<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改hadoop-env.sh

第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改yarn-site.xml
第一台机器执行以下命令
cd /export/servers/hadoop-2.7.5/etc/hadoop
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

修改mapred-env.sh
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim mapred-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

修改slaves
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim slaves

localhost

启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。
hdfs namenode -format 或者 hadoop namenode –format
启动命令：
创建数据存放文件夹
第一台机器执行以下命令

cd/export/servers/hadoop-2.7.5 mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2 mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2 mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

准备启动
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面
http://node01:50070/explorer.html#/查看hdfs
http://node01:8088/cluster查看yarn集群
http://node01:19888/jobhistory查看历史完成的任务

单机模式转为伪分布式环境配置修改、

服务规划

在这里插入图片描述
停止单节点集群，删除/export/servers/hadoop-2.7.5/hadoopDatas文件夹，然后重新创建文件夹
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5

sbin/stop-dfs.sh

sbin/stop-yarn.sh

sbin/mr-jobhistory-daemon.sh stop historyserver

删除hadoopDatas然后重新创建文件夹

rm -rf /export/servers/hadoop-2.7.5/hadoopDatas

重新创建文件夹

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2 mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2 mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/nn/edits mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/snn/name mkdir -p
/export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

修改slaves文件，然后将安装包发送到其他机器，重新启动集群即可
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop
vim slaves
node01
node02
node03

安装包的分发
第一台机器执行以下命令

cd /export/servers/
scp -r hadoop-2.7.5 node02:$ PWD
scp -r hadoop-2.7.5 node03:$ PWD

启动集群
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5

bin/hdfs namenode -format

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/mr-jobhistory-daemon.sh start historyserver

Mr_lixiansen
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
史上最详细的hadoop安装教程（含坑点）
m0_67391377的博客
08-28 3万+
最近因为需要所以要安装hadoop，但是网上怎么说呢，就是很混乱，各种资料，各种安装方法，总体来说都不是很有效果，经过了3天的挣扎，收集资料，才完成了部署。输入jps看到上述四个即完成启动。...
超详细Hadoop安装教程（单机版、伪分布式）
kunkun的博客
04-17 7101
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop安装教程（一次填完所有的坑）
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3503
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Hadoop的安装与环境搭建教程图解
08-25
主要介绍了Hadoop的安装与环境搭建教程图解,本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
Hadoop环境安装设置(最简单的hadoop单机环境部署教程)
04-19
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件，使用下面 ... Hadoop操作模式 在单机模式下...
windows安装hadoop
01-07
Windows下配置Hadoop环境（全过程） 1、首先到官方下载官网的hadoop2.7.7,链接如下https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 2、下载对应版本都是hadooponwindows-master.zip  下载网址：...
hadoop环境搭建教程
05-27
适合零基础的初学者，在window系统下搭建hadoop环境，
hadoop伪分布式安装环境菜鸟教程.docx
03-05
docker部署hadoop伪分布式搭建环境成功的教程
Hadoop安装教程
dream_xin2013的专栏
07-12 1598
主要介绍了在虚拟环境下如何配置并安装hadoop服务，对于hadoop服务安装时需要修改的几个配置文件示例
hadoop环境新手安装教程
ytz201201的博客
02-15 2427
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要修改虚机的配置，选择NAT模式，DHCP选择想要的网段就行。这里根据每台虚机的ip选择相应的hostname就行。7、环境的配置已经改完了。（2）hadoop安装包：我的是hadoop-3.3.1。
hadoop安装教程完整版【含配置文件】
weixin_63580983的博客
03-07 1194
hadoop
Hadoop集群搭建安装教程（详细完整）
zhang_232的专栏
11-21 2758
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。
Hadoop 3.2.2 安装与使用文档超详细图文步骤
蜗牛的博客
08-23 5264
1、简介 1.1、概述 Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 1.2、官网 Hadoop 官网 2、准备工作 2.1、安装 JDK 8 Centos 7 安装 JDK8 2.2、下载 Hadoop ...
Hadoop环境搭建（全网最详细，保姆级教程）
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
一、 配置安装hadoop环境
m0_66115674的博客
06-01 2981
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录，编辑yarn-env.sh。表示执行用户身份错误，修改/etc/profile文件，增加以下配置。
大数据---Hadoop安装教程（一）
大呱的博客
02-01 834
大数据---Hadoop安装教程（一）
超详细hadoop下载安装教程（附图文）
热门推荐
adnb34g的博客
08-03 8万+
在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程，本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明：分享的所有内容是以个人的操作经验为基础，有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发行版，三个节点的标准版本，个人研究或...
hadoop下载安装教程
最新发布
08-28
6. 配置Hadoop环境变量。打开你的终端配置文件（例如.bashrc或.bash_profile），并添加以下行： ``` export HADOOP_HOME=/path/to/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin ``` 将`/path/to/hadoop-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值