银河麒麟服务器操作系统部署Hadoop集群

最新推荐文章于 2023-07-25 17:08:13 发布
最新推荐文章于 2023-07-25 17:08:13 发布
阅读量842 收藏 2
点赞数
文章标签： hadoop kylin 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54752007/article/details/128398078
版权

一、Hadoop介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
二、Hadoop集群简介
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode
YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager
那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。
三、环境准备

主机组件node1（192.168.1.4）node2（192.168.1.5）node3（192.168.1.6）
NameNode是否否
Secondary Namenode否是否
DataNode是是是
ResourceManager是否否
NodeManager是是是

四、Hadoop安装配置
官网下载地址：https://hadoop.apache.org/releases.html
1、将下载好的hadoop-3.3.4.tar.gz包解压到/usr/local下

bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。 
etc：Hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。 
include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。 
lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。 
libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。 
sbin：Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。 
share：Hadoop各个模块编译后的jar包所在的目录，官方自带示例。

2、Hadoop配置文件修改（注意：以下所有操作都在node1主机进行）
Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他各个从节点机器
2.1、hadoop-env.sh
该文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim hadoop-env.sh
# 在该配置文件中添加以下内容
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.9.11-4.ky10.x86_64/bin

2.2、core-site.xml
hadoop的核心配置文件，有默认的配置项core-default.xml。core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim core-site.xml
# 在该配置文件中添加以下内容
<!-- 用于设置Hadoop的文件系统，由URI指定 -->
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.4:8020</value>
 </property>

<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop-3.3.4/hadoopDatas/tempDatas</value>
</property>

<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
 <property>
   <name>io.file.buffer.size</name>
   <value>4096</value>
 </property>

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
 <property>
   <name>fs.trash.interval</name>
   <value>10080</value>
 </property>

2.3、hdfs-site.xml
HDFS的核心配置文件，主要配置HDFS相关参数，有默认的配置项hdfs-default.xml。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim hdfs-site.xml
# 在该配置文件中添加以下内容
<!-- 指定SecondaryNameNode的主机和端口 -->
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.1.5:50090</value>
</property>

<!-- 指定namenode的页面访问地址和端口 -->
<property>
 <name>dfs.namenode.http-address</name>
 <value>192.168.1.4:50070</value>
</property>

<!-- 指定namenode元数据的存放位置 -->
<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:///usr/local/hadoop-3.3.4/hadoopDatas/namenodeDatas</value>
</property>

<!--  定义datanode数据存储的节点位置 -->
<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:///usr/local/hadoop-3.3.4/hadoopDatas/datanodeDatas</value>
</property>

<!-- 定义namenode的edits文件存放路径 -->
<property>
 <name>dfs.namenode.edits.dir</name>
 <value>file:///usr/local/hadoop-3.3.4/hadoopDatas/nn/edits</value>
</property>

<!-- 配置检查点目录 -->
<property>
 <name>dfs.namenode.checkpoint.dir</name>
 <value>file:///usr/local/hadoop-3.3.4/hadoopDatas/snn/name</value>
</property>
<property>
 <name>dfs.namenode.checkpoint.edits.dir</name>
 <value>file:///usr/local/hadoop-3.3.4/hadoopDatas/dfs/snn/edits</value>
</property>

<!-- 文件切片的副本个数-->
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>

<!-- 设置HDFS的文件权限-->
<property>
 <name>dfs.permissions</name>
 <value>false</value>
</property>

<!-- 设置一个文件切片的大小：128M-->
<property>
 <name>dfs.blocksize</name>
 <value>134217728</value>
</property>

<!-- 指定DataNode的节点配置文件 -->
<property>
 <name> dfs.hosts </name>
 <value>/usr/local/hadoop-3.3.4/etc/hadoop/slaves </value>
</property>

2.4、mapred-site.xml
MapReduce的核心配置文件，Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# cp mapred-site.xml.template mapred-site.xml
[root@192 ~]# vim mapred-site.xml
# 在该配置文件中添加以下内容
<!-- 指定分布式计算使用的框架是yarn -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

<!-- 开启MapReduce小任务模式 -->
<property>
 <name>mapreduce.job.ubertask.enable</name>
 <value>true</value>
</property>

<!-- 设置历史任务的主机和端口 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>192.168.1.4:10020</value>
</property>

<!-- 设置网页访问历史任务的主机和端口 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>192.168.1.4:19888</value>
</property>

2.5、mapred-env.sh
在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉，然后按照以下方式修改:

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim mapred-env.sh
# 在该配置文件中添加以下内容
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.9.11-4.ky10.x86_64/bin

2.6、yarn-site.xml
YARN的核心配置文件

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim yarn-site.xml
# 在该配置文件中添加以下内容
<!-- 配置yarn主节点的位置 -->
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>192.168.1.4</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 开启日志聚合功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>

<!-- 设置聚合日志在hdfs上的保存时间 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

<!-- 设置yarn集群的内存分配方案 -->
<property>    
 <name>yarn.nodemanager.resource.memory-mb</name>    
 <value>2048</value>
</property>
<property>  
 <name>yarn.scheduler.minimum-allocation-mb</name>
 <value>2048</value>
</property>
<property>
 <name>yarn.nodemanager.vmem-pmem-ratio</name>
 <value>2.1</value>
</property>

2.7、slaves
slaves文件里面记录的是集群主机名。一般有以下两种作用：
一是：配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
二是：可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。
dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

[root@192 ~]# cd /usr/local/hadoop-3.3.4/etc/hadoop
[root@192 ~]# vim slaves
# 删除slaves中的localhost，然后添加以下内容
192.168.1.4
192.168.1.5
192.168.1.6

2.8、数据目录创建，创建hadoop所需目录

[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/tempDatas
[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/namenodeDatas
[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/datanodeDatas
[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/nn/edits
[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/snn/name
[root@192 ~]# mkdir -p /usr/local/hadoop-3.3.4/hadoopDatas/dfs/snn/edits

2.9、文件分发
将配置好的hadoop目录分发到node2和node3主机

[root@192 ~]# scp -r /usr/local/hadoop-3.3.4/   node2:/usr/local/
[root@192 ~]# scp -r /usr/local/hadoop-3.3.4/   node3:/usr/local/

3、在node1、node2、node3上分别配置Hadoop环境变量

[root@192 ~]#  vim   /etc/profile
# 添加以下内容
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 配置完成后使配置文件生效
[root@192 ~]#  source  /etc/profile

五、启动集群
要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。
1、在node1上执行格式化命令
[root@192 ~]# hadoop namenode -format
2、单个节点逐步启动
在node1上启动HDFS NameNode
[root@192 ~]# hadoop-daemon.sh start namenode
在node1、node2、node3三台主机上，分别使用以下命令启动HDFS DataNode
[root@192 ~]# hadoop-daemon.sh start datanode
在node1主机上使用以下命令启动YARN ResourceManager
[root@192 ~]# yarn-daemon.sh start resourcemanager
在node1、node2、node3三台主机上使用以下命令启动YARN nodemanager
[root@192 ~]# yarn-daemon.sh start nodemanager
以上脚本位于/usr/local/hadoop-3.3.4/sbin目录下。如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

月亮打烊了+
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kylin3.2安装
worker_program的博客
08-24 2193
资源文件：NeoKylin-3.2.2.iso 和 数据光盘 (26 9月 18).iso 1.使用系统镜像文件NeoKylin-3.2.2.iso刻光盘 2.由于系统与显卡兼容性存在问题，需要拔掉显卡安装。进入bios恢复默认最佳配置，进入安装界面正常装系统 3.系统安装好后，将数据光盘导入系统，解压文件。找到degradeVersion.sh，执行，结果如下图： 4.关闭系统，插上显卡，将显示器连接到显卡输出，启动系统，硬盘启动， 进入系统选择界面 按e编辑，如下图： F10引导启动
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介：        近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以通过 Internet 访问“云”中的任何资源，而不需要担心计算能力、带宽、存储、安全性和可靠性等问题。       Apache Hadoop 是一个软件框架，它可以分布式 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
银河麒麟服务器操作系统 V4 hadoop 软件适配手册
10-13
银河麒麟服务器操作系统 V4 hadoop 软件适配手册 包含Hadoop的环境配置，以及文件的配置。
2022爱分析･数据库厂商全景报告 | 爱分析报告
爱分析ifenxi
12-16 860
在国内数字化转型以及信创建设持续推进的大背景下，众多厂商入局国内数据库市场，为企业提供了面向多种应用场景的数据库，以及相关的生态工具或服务。
openEuler 社区 2023 年 4 月运作报告
openEuler_的博客
05-09 1683
快来看看openEuler社区4月份发生了什么~
openEuler Developer Day 2023成功召开！发布嵌入式商业版本及多项成果
openEuler_的博客
04-24 377
【中国，上海，2023年4月21日】openEuler Developer Day 2023于4月20-21日在线上和线下同步举办。本次大会由开放原子开源基金会指导，中国软件行业协会、openEuler社区、边缘计算产业联盟共同主办，以“万涓汇流，奔涌向前”为主题，旨在推动操作系统以及基础软件的创新和突破。openEule...
银河麒麟安装—jdk和hadoop
m0_67403188的博客
04-12 3907
一、jdk安装 下载jdk，官网下载需要注册账号。 oracle官网下载链接 我下载的是 jdk1.8.0_241。 因为我没有安装xftp这类软件，无法直接向linux上传下载好的jdk安装包，所以我把下载好的 jdk-8u241-linux-x64.tar.gz 直接放在共享文件夹（/mnt/hgfs/），这样linux就可以用了。 解压 #创建Java文件夹，便于管理 root@Kylin:mkdir /opt/software/Java #解压到指定目录 root@Kylin:/mnt/
麒麟操作系统-03-Hadoop3.5.5安装与部署
Jason1511的博客
06-01 694
虚拟机也可以，但是要确保运行内存是够用的，建议主节点node1给4G，其他最少2G。注意修改ip们可以参照我的另一篇博文：http://t.csdn.cn/6ohFp。下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/注意：以上的配置都是些简单配置，很多参数都是可以根据情况去修改的，包括端口号。清华源下载的快，点进去选择 hadoop-3.3.5.tar.gz 下载，674M的，不要选择错了。
银河麒麟 arm架构 ubuntu docker制作hadoop镜像
Mrerlou的博客
10-22 513
接上文:https://www.cnblogs.com/erlou96/p/13856089.html 根据上文的jdk的docker镜像,来制作hadoop大数据docker镜像 一: 基础环境准备 open-jdk1.8的docker镜像(上文已制作好) hadoop-3.2.1(自行网上下载) 二: Hadoop安装包配置修改 新建目录: mkdir -p /opt/doc...
麒麟操作系统-04-Hive3.1.2安装与部署
Jason1511的博客
06-02 281
Hive 3.1.2相对于之前的版本，在查询性能、事务能力、SQL标准支持等方面均有不小的改进和优化，是一个更加稳定、高效的版本。HADOOP_HOME替换为自己hadoop的安装目录，$HIVE_HOME替换为自己的hive安装目录，没有配置环境变量的话，不要直接复制粘贴。使用远程工具连接hive，先开启metastore，再开启hiveserver2，才能使用工具连接hive！替换过来，删除自带的低版本。
银河麒麟服务器操作系统安装指南.
11-16
中国 银河麒麟服务器操作系统安装指南 银河麒麟（简称Kylin）是由国防科学技术大学计算机学院联合中软、联想、浪潮和中科院软件所等多家单位联合开发的服务器操作系统。本手册所含信息对您安装Kylin 服务器操作系统会大有帮助。
银河麒麟服务器操作系统全指南-包含13个适配手册.zip
08-04
银河麒麟服务器操作系统-hadoop-v2.7.7版适配手册.pdf 银河麒麟服务器操作系统-hbase-v1.4.9版适配手册.pdf 银河麒麟服务器操作系统-KVM虚拟化适配手册.pdf 银河麒麟服务器操作系统-mongodb-v2.6.10版适配手册.pdf ...
使用docker部署hadoop集群的详细教程
09-29
主要介绍了使用docker部署hadoop集群的详细教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值需要的朋友可以参考下
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Ambari部署Hadoop集群.doc
06-22
对于企业，如果要部署由成千上万的节点组成的Hadoop集群，手工方式部署显然不符合实际。 而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。这款软件具有集群自动化安装、中心化...
欧拉携手产业伙伴打造全球首选的数字基础设施开源操作系统
AI科技大本营
04-15 829
欧拉开发者大会（openEuler Developer Day 2022）于4月13日-15日在线上和线下同步举行。大会以“一起创未来，欧拉更精彩”为主题，旨在推动openEuler在服务器、云计算、边缘计算和嵌入式等全场景的技术探索和创新，共建极具创新力的开源社区，打造全球首选的数字基础设施开源操作系统。 本次大会是开放原子开源基金会的openEuler社区举办的开发者大会，也是欧拉捐赠之后社区发起的首次大会。中国电信天翼云、中国移动在线营销服务中心、联通云、上交所、中信银行、华为、英特尔、开源芯...
银河麒麟高级服务器操作系统V10-系统管理员手册：04 安装和管理软件
君逍遥o
05-17 3480
dnf 包管理器克服了 yum 包管理器的一些瓶颈，提升了包括用户体验、内存占用、依赖分析和运行速度等多方面的内容。dnf 使用 rpm、libsolv 和 hawkey库进行包管理操作，可以同yum 同时使用。
国产麒麟系统部署Ambari + HDP
地球人是我哈的博客
07-25 1753
国产融创 hadoop
docker部署hadoop集群
最新发布
09-07
Docker部署hadoop集群的过程可以分为以下几个步骤： 1. 环境准备：确保你的机器已安装并启动了Docker。 2. 配置hadoop：根据你的需要，配置hadoop集群的相关参数，包括core-site.xml、hdfs-site.xml和yarn-site....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值