Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

最新推荐文章于 2024-05-11 20:27:52 发布
最新推荐文章于 2024-05-11 20:27:52 发布
阅读量1.8k 收藏 8
点赞数 2
分类专栏： 大数据 Linux 大数据--学习 文章标签： hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44775255/article/details/113775449
版权

Hadoop组件安装及配置

用VMware虚拟机安装Linux centos7系统

Hadoop集群搭建及配置〇 —— Hadoop组件获取 & 传输文件

Hadoop集群搭建及配置① —— 克隆节点

Hadoop集群搭建及配置② —— 网络IP配置，连接网络

Hadoop集群搭建及配置③ —— 基础环境搭建

Hadoop集群搭建及配置④ —— JDK简介及其安装

Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

Hadoop集群搭建及配置⑦—— Spark&Scala安装配置

Hadoop集群搭建及配置⑧——Hbase的安装配置

一、配置环境变量

创建工作目录：
mkdir –p /usr/hadoop
解压 hadoop：
tar -zxvf /home/master/Downloads/hadoop-2.7.3.tar.gz -C /usr/hadoop/

在这里插入图片描述

1.1 配置Hadoop环境变量(三个节点)

vi /etc/profile

# HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

在这里插入图片描述

二、配置Hadoop各组件

hadoop的各个组件的都是使用XML进行配置，这些文件存放在hadoop的etc/hadoop目录下。
Hadoop配置涉及的文件有7个: core-site.xml 、hadoop-env.sh 、yarn-env.sh 、mapred-site.xml、yarn-site.xml 、slaves 、hdfs site.xml。这些文件都在/usr/hadoop/hadoop-2.7.3/etc/hadoop/目录下，首先要进人该目录，依次修改配置文件如下。

2.1 修改hadoop-env.sh、yarn-env.sh

(1) 修改hadoop-env.sh 文件。该文件是Hadoop运行基本环境的配置，需要修改为JDK的实际位置。故在该文件中修改JAVA_ HOME值为本机安装位置。

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171

在这里插入图片描述
(2) 修改 yarn-env.sh 文件。该文件是YARN框架运行环境的配置，同样需要修改JDK所在位置。在该文件中修改JAVA_ HOME值为本机安装位置。

vi yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171

在这里插入图片描述

2.2 （3）修改core-site.xml 文件。

这个Hadoop的核心配置文件,这里需要配置两个属性: fs.defaultFS 配置了Hadoop的HDFS系统的命名，位置为主机的8020端口，这里需要替换 hdfs://master:8020 中的master，改名称为NameNode所在机器的机器名; hadoop.tmp.dir 配置了Hadoop的临时文件的位置。添加内容如下面所示。

core-site.xml 文件 在<configuration> </configuration>中加入代码!

<property>
 <name>fs.default.name</name>
  <value>hdfs://master:8020</value>
   <description>指定namenode的地址</description>
</property>
<property>
 <name>hadoop.tmp.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/tmp</value>
   <description>用来指定使用hadoop时产生文件的存放目录</description>
</property>
<property>
 <name>io.file.buffer.size</name>
  <value>131072</value>
   <description>流文件的缓冲区大小为128K</description>
</property>
<property>
 <name>fs.checkpoint.period</name>
  <value>60</value>
   <description>动态检查的间隔时间设置</description>
</property>
<property>
 <name>fs.checkpoint.size</name>
  <value>67108864</value>
   <description>用日志文件大小64M</description>
</property>

在这里插入图片描述

2.3 （4）修改yarn-site.xml 文件

该文件为YARN框架的配置，在最开始命名了一个yarn.resourcemanager.hostname 的变量，在后面YARN的相关配置中就可以直接引用该变量了，其他配置保持不变即可。

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>master</value>
</property>
<property>
 <name>yarn.resourcemanager.address</name>
 <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.https.address</name>
 <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
 <name>yarn.nodemanager.local-dirs</name>
 <value>/data/hadoop/yarn/local</value>
</property>
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<property>
 <name>yarn.nodemanager.remote-app-log-dir</name>
 <value>/data/tmp/logs</value>
 </property>
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs/</value>
<description>URL for job history server</description>
</property>
<property>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <value>false</value>
 </property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>2048</value>
</property>
<property>
 <name>yarn.scheduler.minimum-allocation-mb</name>
 <value>512</value>
</property>
<property>
 <name>yarn.scheduler.maximum-allocation-mb</name>
 <value>4096</value>
</property>
<property>
 <name>mapreduce.map.memory.mb</name>
 <value>2048</value>
</property>
<property>
 <name>mapreduce.reduce.memory.mb</name>
 <value>2048</value>
</property>
<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
 <value>1</value>
</property>

在这里插入图片描述
在这里插入图片描述

2.4（5）修改hdfs-site.xml 文件

这个是HDFS相关的配置文件，dfs.namenode.name.dir 和dfs.datanode.data.dir分别指定了NameNode 元数据和DataNode 数据存储位置。
dfs.namenode.secondaryttp-address 配置的是SecondaryNameNode的地址，同样需要注意修改master为实际SecondaryNameNode地址。dfs.replication 配置了文件块的副本数，默认为3个，这里要改为2个。

<property>
 <name>dfs.replication</name>
  <value>2</value>
   <description>缺省的块复制数量</description>
</property>
<property>
 <name>dfs.namenode.name.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <description>存贮在本地的主节点数据镜像的目录,作为主节点的冗余备份</description>
    <final>true</final>
</property>
<property>
 <name>dfs.datenode.date.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <description>数据节点的块本地存放目录</description>
    <final>true</final>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
  <value>master:50090</value>
   <description>secondarynamenode的web端口号</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
 <value>true</value>
  <description>web访问hdfs</description>
</property>

在这里插入图片描述

2.5（6）修改mapred-site.xml

这个是MapReduce的相关配置，由于Hadoop 2.x使用了YARN框架，所以必须在 mapreduc.framework.name 属性下配置YARN。mapreduce jobhistory.address 和mapreduce.jobhistoryserver.webapp.address 是JobHistoryserver的相关配置，即运行MapReduce任务的日志相关服务，这里同样需要注意修改master为实际服务所在机器的机器名。

hadoop是没有这个文件的，需要将mapred-site.xml.template复制为mapred-site.xml。

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>master:10020</value>
</property>
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>master:19888</value>
</property>

在这里插入图片描述

2.6（7）修改salves, 设置节点文件

修改slaves文件。该文件里面保存有slave节点的信息，在slaves文件里面添加

vi slaves	#添加子节点
删除 localhost，添加：
slave1
slave2

在这里插入图片描述

2.7 vi master文件，添加主节点master

在这里插入图片描述

设置好Hadoop组件分发给文件给从节点slave

scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

在这里插入图片描述

三、格式化HDFS（master）

做完Hadoop的所有配置后，即可执行格式化NameNode操作，该操作会在NameNode所在机器初始化一些 HDFS的相关配置，并且该操作在集群搭建过程中只需执行一次，执行格式化之前可以先配置环境变量。

格式化hdfs:的namenode
hadoop namenode -format

在这里插入图片描述
当出现“Exiting with status 0”的时候，表明格式化成功。
在这里插入图片描述

四、启动集群

格式化完成之后即可启动集群，启动集群只需要在master节点直接进人Hadoop安装目录，分别执行如下所示的命令即可。

cd SHADOOP_ HOME
sbin/start-dfs.sh启动HDFS相关服务
sbin/start-yarn.sh启动YARN相关服务
sbin/mr jobhistory-daemon.sh start historyserver/启动日志相关服务
cd /usr/hadoop/hadoop-2.7.3

sbin/start-dfs.sh 	# 启动HDFS相关服务	
sbin/start-yarn.sh	# 启动YARN相关服务
sbin/mr-jobhistory-daemon.sh start historyserver # 启动日志相关服务JobHistoryServer

sbin/start-all.sh # 启动所有
sbin/stop-dfs.sh  # 关闭所有

在这里插入图片描述
master节点启动
在这里插入图片描述
slave1节点启动
在这里插入图片描述

slave2节点启动在这里插入图片描述

五、访问集群Web UI

HDFS监控

输入master:50070地址：
192.168.142.128:50070		# 进入hadoop界面

可以看到HDFS的监控页面
在这里插入图片描述

  1. Overview记录了NameNode的启动时间、版本号、编译版本等-些基本信息。

  2. Summary是集群信息，提供了当前集群环境的一些有用信息，从图中可知所有DataNode节点的基本存储信息，例如硬盘大小以及有多少被HDFS使用等-些数据信息，同时还标注了当前集群环境中DataNode的信息，对活动状态的DataNode也专门做了记录。

  3. NameNode Storage提供了NameNode的信息，最后的State标示此节点为活动节点，可正常提供服务。

在这里插入图片描述选择"Utilities" →“Browse the file system”菜单命令可以查看HDFS上的文件信息。
在这里插入图片描述

YARN监控

在浏览器的地址栏输人“http//master:8088"，, 即可看到YARN的监控界面。
在这里插入图片描述
操作完Hadoop，记得先关闭集群，避免操作不当引起节点挂掉。

master执行：
sbin/stop-all.sh  # 关闭所有集群

在这里插入图片描述
到此Hadoop集群的安装就圆满结束了。接下来的是对 Hbase、Spark等组件的配置与安装。

唐樽
关注
专栏目录
Hadoop的集群配置
hhhhhhhhhhhnb的博客
05-11 437
第一步，我们进行集群的弹性扩展： 我们安装都是单机集群 1-N的集群扩张 扩张之前，需要选择一个已安装hadoop的主机，作为Master 已安装hadoop的主机清理，只保留1号机中的hadoop，以这个hadoop为准 确认所有主机已安装了jdk 确认所有主机之间，彼此ssh免密 检查所有主机是否都有公私钥 （1）：在各自的机器上面生成密钥： 　　在第1台机器上生产一对钥匙： ssh-keygen （-t rsa） 　　在第2台机器上生产一对钥匙： ssh-keygen
Hadoop组件/流程/配置
ys_1991的博客
04-22 307
一.Hadoop 1.Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。 Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。 Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。 Hadoop 还是可伸缩的，能够处理 PB 级数据 2.Had...
Hadoop集群配置（最全面总结）
xiaolei168的专栏
02-07 282
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html) 1 先决条件 确保在...
Hadoop2.61集群安装配置教程
yaooch的专栏
06-05 483
前言 当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括H
hadoop集群配置
m0_50997249的博客
08-31 94
文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置 [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml [mapred-default.xml]
hadoop集群配置之———hive安装与配置（超详细）
07-23
通过以上过程，我们可以看到，Hadoop和Hive的安装配置是一个涉及多个组件、多个环节的复杂过程。成功配置后，Hadoop集群配合Hive，可以非常高效地处理和分析大数据集，为各种数据密集型应用提供强大的支持。
Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆
2401_84407887的博客
05-05 932
其实Android开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。虽然 Android 没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪资真的特别高（钱多也不一定能找到合适的），所以努力让自己成为高级工程师才是最重要的。
Hadoop集群搭建及Hive的安装与使用
12-14
本教程将详细介绍如何搭建Hadoop集群以及安装和使用Hive。 首先，我们来了解Hadoop集群的搭建步骤： 1. **环境准备**：确保所有节点的操作系统一致，通常选择Linux发行版，如Ubuntu或CentOS。安装Java开发套件...
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
总的来说，搭建Hadoop集群和开发MapReduce程序是一个系统性的工程，涉及到操作系统管理、网络配置、Java编程以及大数据处理原理。对于初学者来说，遵循详尽的步骤和代码示例是非常有益的，而逐步熟悉并理解这些过程...
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
disy924的博客
06-27 6546
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
hadoop集群安装配置
10-29
hadoop在centos7.0超详细安装配置信息，自己总结的，绝对可用！
Hadoop及组件的安装
m0_47792921的博客
08-31 210
hadop的安装 关于hadoop的安装已经有大佬有了详细的资源，这里我为大家分享一个厦门大学数据库实验室的安装资料，可以说资料非常详细，包括各个组分的安装以及安装出错的解决方案，非常适合刚入门的小伙伴。关于一些安装包我将上传到我的资源中。希望大家安装顺利。 厦门大学Hadoop安装教程 厦门大学Hadoop安装教程 厦门大学Hadoop安装教程 在搜索框搜索Hbase、hive、sqoop等组件也会出现相应教程！ 现在大三，双非二本院校...
Hadoop集群安装配置教程
weixin_43279138的博客
04-14 1484
Hadoop集群安装配置教程 目录Hadoop集群安装配置教程1、环境2、创建hadoop用户(两节点同步进行)3、安装SSH、配置SSH无密码登陆4、安装Java环境(两节点同步进行)5、安装Hadoop3.1.3(两节点同步进行)6、配置PATH变量(两节点同步进行)7、配置集群/分布式环境(两节点同步进行)8、执行分布式实例 链接：https://pan.baidu.com/s/1rDyT...
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
Peter的博客
09-05 564
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 2014-08-09 (updated: 2016-09-26) 125333 217 本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。 本教程适合于原生 H...
hadoop系列（一）概念、组件介绍、安装环境、配置
qq789aa134的博客
08-10 607
hadoop系列（一）概念、组件介绍、安装环境、配置
Hadoop集群安装配置 图文保姆级教程—保姆级配置教程—全网最全[官方手册版]
最新发布
m0_63324772的博客
05-11 1901
Hadoop集群安装配置 图文保姆级教程—全网最全 一、安装前需要 1.VMware安装配置： 2.相关Hadoop软件包下载 3.Ubuntu镜像下载 二、Ubuntu系统安装 前提声明：已安装可忽略此步（但要有远程传输VMwareTools，和英文版的Ubuntu） 三、Hadoop单机+伪分布式配置 1.更新apt 2.安装Vim 3.安装SSH 4.配置SSH无密码登陆 5.安装Java环境 6.安装Hadoop 7.单机配置（非分布式） 8.伪分布式配置 四、Hadoop集群式安装
超详细hadoop集群服务器安装配置教程
ciwei03773的专栏
01-23 175
虚拟机以及 Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hadoop安装会在下一...
Hadoop2.6.4高可用(HA)配置教程——Zookeeper集成
4. 安装并配置了Zookeeper集群服务，这是Hadoop HA的关键组件。 接下来，文档详细描述了安装Hadoop 2.6.4的步骤： 1. 下载Hadoop 2.6.4软件包，将其解压缩并移动到指定目录`/usr/HA/hadoop`。 2. 添加Hadoop的环境...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐樽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值