集群部署重新规划

最新推荐文章于 2024-04-04 16:23:41 发布
最新推荐文章于 2024-04-04 16:23:41 发布
阅读量383 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Source_00/article/details/83098063
版权

由于之前已经搭建好的集群中master职务过于多，会造成效率降低，故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。

masterslaver1slaver2slaver3slaver4slalver5
HDFSNameNode
DateNode		SecondaryNameNode
DateNode		DateNodeDateNodeDateNodeDateNode
YARNNodeManagerNodeManagerResourceManager NodeManagerNodeManagerNodeManagerNodeManager

修改hdfs-site.xml文件，将图中master改为slaver1

    vim hdfs-site.xml

在这里插入图片描述

配置Yarn

vim yarn-env.sh

添加JAVA_HOME

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

在这里插入图片描述

配置yarn-site.xml

vim yarn-site.xml

将ResourceManager 的主机名都改为slaver2
在这里插入图片描述

配置 vim mapred-env.sh

vim mapred-env.sh

在这里插入图片描述

同步分发配置

 xsync.sh hdfs-site.xml
xsync.sh yarn-env.sh
xsync.sh yarn-site.xml
xsync.sh mapred-env.sh

启动集群
在这里插入图片描述

启动了hdfs，接下来启动yarn，因为ResourceManager在slaver2上，所以，启动时必须在slaver2上启动yarn
在这里插入图片描述

Source_00
关注
专栏目录
二、集群规划
个人纪录、总结！
04-16 1135
云原生 - 目录 第八部分：高可用集群搭建 - 二进制方式 二、集群规划1、集群规划1.1、软件环境1.2、K8s环境2、磁盘规划 1、集群规划 1.1、软件环境 软件 版本 操作系统 Centos 7.9 Docker v19.03.9 Kubernetes v1.20.4 Kubesphere v3.1.1 1.2、K8s环境 角色 IP 组件 VIP（虚拟ip） 192.168.80.254 master1 192.168.80.220 k.
群集的规划(Cluster)
jamesxu354的博客
11-28 6825
群集的规划(Cluster) 分布式已是目前的主流架构，当今云端充斥着许多的平台，在不同的平台上提供着不同的资源，每种资源大都是以分布式的节点组合起来的，若没有不同的集群（Cluster-Aware）构架来组织这些资源，那这朵云会是个什么样的混乱大家可想而知。 群集的规划Cluster 群集Cluster类型的介绍 集群存儲Storage 如下圖顯示 高可用High Availabi
Linux集群规划
u012402926的专栏
10-27 373
1.提供的服务：Web、FTP. 　　2.做一个较完善的负载均衡系统，以便能用到其中较多的功能。 　　3.使用4台服务器，其中3台安装TurboLinux Cluster Server,1台安装Windows 2000 Sever . 　　Linux集群安装 　　1.在3台服务器上安装Turbo Linux,还需要安装Apache和wu-ftpd,因为Linux集群要提供这种服务。安装完成
集群配置规划工具知识点整理
shirukai
06-26 509
集群配置规划工具知识点整理 一、Vue 1.关于图标的使用 项目里使用的是在iconfont下载的第三方图标，放在indata_tool_web\src\assets\iconfont目录下。在main.js引入 import './assets/iconfont/iconfont.css' 2.关于登录权限 原理： 利用vue-router的beforeEach...
谈谈个人网站的建立（五）—— 小集群的部署
weixin_30746117的博客
11-06 589
欢迎访问我的个人网站O(∩_∩)O哈哈~希望大佬们能给个star，个人网站网址：http://www.wenzhihuai.com，个人网站代码地址：https://github.com/Zephery/newblog。 洋洋洒洒的买了两个服务器，用来学习分布式、集群之类的东西，整来整去，感觉分布式这种东西没人指导一下真的是太抽象了，先从网站的分布式部署一步一步学起来吧，虽然网站本身的访问量不大=...
集群大小的规划
ITBOY_ITBOX博客
05-24 127
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
总结来说，Hadoop HA集群部署涉及多个层面，包括硬件规划、软件配置、网络设置以及安全策略等。正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
KingbaseES V8R2 集群部署手册
11-29
《KingbaseES V8R2 集群部署手册》是针对金仓数据库V8版本的一个详尽指导文档，旨在帮助用户成功部署和管理KingbaseES的集群环境。KingbaseES，全称为Kingbase Enterprise Server，是中国自主研发的一款高性能、高...
weblogic集群部署forlinux.docx
12-18
本文详细介绍了如何在 Linux 平台上部署 WebLogic Server 集群，包括集群部署的必要条件、集群规划、安装和配置 WebLogic Server 集群、使用 Configuration Wizard 工具和 Managed Server 实例等内容。通过遵循本文...
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G...
Elasticsearch笔记（三）：集群规划及管理
布道
12-29 5853
在上一章中我们对es-search的基本架构及核心概念有了一个基本的认识，这里我们开始搭建一个集群。 目录 1.集群中的节点角色 Ingest Node 如何分配？ 如何避免脑裂问题？ 2.分片及副本 3.集群健康及监控 3.1 catAPI 3.2Cluster API 3.2.1_cluster 3.2.2_nodes 3.2.3_remote 3.2...
J2EE集群开发部署实战
11-02 2000
J2EE集群开发部署实战概述一个集群系统是一群松散结合的服务器组，形成一个虚拟的服务器，为客户端用户提供统一的服务。对于这个客户端来说，通常在访问集群系统时不会意识到它的服务是由具体的哪一台服务器提供。集群系统一般应具高可用性、可伸缩性、负载均衡、故障恢复和可维护性等特殊性能。越来越多的关键任务和大型应用正运行在J2EE平台上，象银行之类的应用要求很高的可用性(HA)，大型系统比如大型网站
3台hadoop集群部署计划---安装系列一
李孟的博客
04-30 1245
注意：apache官网提供的hadoop-2.x的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 安装 yum install psmisc Killall -9 java 安装 glibc-headers 和  g++  命令如下:   $yum install glib...
ES集群规划、集群搭建、集群管理
clz1314521的专栏
03-25 4484
ES集群规划、集群搭建、集群管理
分布式集群规划
IoTHub - 物联网开源技术社区
01-30 1032
分布式集群规划，采用微服务分布式架构，微服务容器化部署，支持容器的编排调度，系统监控、日志聚合、链路跟踪，高可用、负载均衡、故障转移、水平扩展等，采用DevOps理念，搭建CI/CD流水线。
kafka集群规划
紫蝶侠的博客
03-06 598
OS 一般来说，对于运行Linux中的kafka集群不需要过多的OS以及kernel参数调整，但如下几种情况可以根据具体情况进行参考: 文件描述符(fd): broker节点上fd限制可以参考(number_of_partitions)*(partition_size/segment_size)公式 套接字缓冲区(socket buffer): 该参数可以增加多数据中心之间的数据传输(一般异地集群备份建议调整以增加吞吐) 最大内存映射区域数(vm.max_map_count): 当kafka broke..
Linux集群部署项目
最新发布
qq_74770105的博客
04-04 1406
nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库，pcre-devel 是使用 pcre 开发的一个二次开发库。zlib 库提供了很多种压缩和解压缩的方式， nginx 使用 zlib 对 http 包的内容进行 gzip ，所以需要在 Centos 上安装 zlib 库。修改防火墙之后，访问http://192.168.11.137:8080/，如果看到tomcat的管理页面，则说明成功。来到安装的tomcat的bin目录，执行如下命令。
完全分布式之集群规划
now
10-22 321
HDFS大数据量开发时NameNode和SecondaryNameNode要单独一个，DataNode不能和他们抢占资源。但由于内存只有8G，先这样设置。 yarn有几个DataNode就有几个NodeManager,且ResourceManager很耗费资源，故只能基于下图安排。 1、创建分发脚本 #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2
EasyHadoop集群部署实战指南
“服务器结构”章节详细描述了Hadoop集群的硬件和软件架构，包括单机安装和集群部署的步骤。书中可能列出了部署Hadoop试验集群所需的硬件配置，并展示了系统的组件间依赖关系，帮助读者理解如何规划和搭建集群环境。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值