如何计算大数据平台系统需要的服务器数量，集群节点数及存储容量等硬件设备参数

最新推荐文章于 2022-03-25 17:33:05 发布
最新推荐文章于 2022-03-25 17:33:05 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： 原理
原文链接：https://www.zhihu.com/question/284386544
版权
超级大超越
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据库集群系统设备清单 机型 技术参数 数量 数据库集群服务器 4U机 ....docx
06-08
数据库集群系统设备清单 机型 技术参数 数量 数据库集群服务器 4U机 ...
如何估算集群所需的存储、计算资源？
weixin_52346300的博客
11-20 5034
编辑：彭文华来 源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有位朋友在群里问：怎么预估大数据集群所需的内存容量？这个问题是大数据架构师的高频面试题，但...
基于spark的外卖大数据平台分析系统.zip
最新发布
07-31
该资源真实可靠，代码都经测试过，能跑通。 快速：Apache Spark以内存计算为核心。 通用 ：一站式解决各个问题，ADHOC SQL查询，流计算，数据挖掘，图计算完整的生态圈。只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速。存储层：HDFS作为底层存储，Hive作为数据仓库 （Hive Metastore:Hive管理数据的schema） 离线数据处理：SparkSQL (做数据查询引擎<===> 数据ETL) 实时数据处理：Kafka + Spark Streaming 数据应用层：MLlib 产生一个模型 als算法 数据展示和对接：Zeppelin 选用考量： HDFS不管是在存储的性能，稳定性 吞吐量 都是在主流文件系统中很占有优势的 如果感觉HDFS存储还是比较慢，可以采用SSD硬盘等方案。存储模块：搭建和配置HDFS分布式存储系统，并Hbase和MySQL作为备用方案。 ETL模块：加载原始数据，清洗，加工，为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型，以及寻找最佳的模型。 推荐模块：包含离线推荐和实时推荐，离线推荐负责把推荐结果存储到存储系统中实时推荐负责产生实时的消息队列，并且消费实时消息产生推荐结果，最后存储在存储模块中。 数据展示模块：负责展示项目中所用的数据。 数据流向：数据仓库怎么理解？两种东西，其一是IBM微软数据产品为代表的，其二是Hadoop+Hive+Apache Hive数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已经存储的数据上。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
CloudEon云原生大数据平台，构建于kubernetes集群之上的大数据集群管理平台
06-13
CloudEon是一款基于kubernetes的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理，如Hadoop、Doris、Spark、Flink、Hive、Kafka等，能够满足不同规模和业务需求下的大数据处理和分析需求。
政务大数据与资源平台建设解决方案.pdf
01-10
政务大数据与资源平台建设解决方案.pdf
数据仓库建设方案详细：系统架构设计
ytp552200ytp的博客
11-17 1552
第3章 硬件部署 按照专家系统安装接口规要求，结合专家管理系统数据量估算值和数据存储特点，本着数据安全、系统稳定可靠的核心设计思路，设计专家系统大数据平台数据节点服务器22台，其中管理节点服务器2台，数据节点服务器19台，监控节点一台，系统RDBMS数据库服务器台，应用服务器6台，绘制专家系统部署逻辑结构图如下:第4章 硬件清单 根据系统规划及安装接口规要求，初步规划服务器如下：系统应用服务器需求6台；大数据平台设计节点22个，其中管理节点2个，数据节点19个，监控节点服务器1台，RDBMS数据...
云计算+大数据+AI+物联网
道阻且长，行则将至。
12-28 1万+
今天跟大家讲讲云计算、大数据和人工智能。这三个词现在非常火，并且它们之间好像互相有关系。终于有人把云计算、大数据和人工智能讲明白了！ 一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员，就可能比较难理解这三者之间的相互关系，所以有必要解释一下。 云计算 云计算最初的目标 我们首先来说云计算。云计算最初的目...
高性能计算相关概念
hehe199807的博客
09-08 6854
最近在参加IPCC竞赛，在和老师交流的过程中，发现自己对很多基本的概念，业界的名词并没有那么了解，由于一直在做数值分析这块的东西，很多之前学过的内容慢慢的都遗忘了，为了扩宽自己的知识面，最近在看一些科普性质的博客，将一些比较精华的部分摘了下来，以便自己温故而知新。 高性能计算的相关概念 高性能计算(High performance computing， 缩写HPC) 指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。有许多类型的HPC
【算力网络】算力知识
热门推荐
qq_42809645的博客
03-25 1万+
尽管算力这个词在近年来很“火”，但其背后的含义，却很少有人真正了解
大数据学习-毕业（二：计算服务器台数）
weixin_43446246的博客
02-21 622
基于大数据平台的盾构集群远程监控与智能决策支持系统及应用
08-19
基于大数据平台的盾构集群远程监控与智能决策支持系统及应用
分布式计算、云计算与大数据
01-27
对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、银行、发电厂等。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。对专业人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式–即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。对等计算系统中，每个节点都拥有对等的功能与责任，既可以充当服务器向其他节点提供数据或服务，又
FusionInsightHD华为大数据平台.pdf
12-24
FusionInsightHD华为⼤数据平台 华为FusionInsight HD是⼀个分布式数据处理系统，对外提供⼤容量的数据存储、分析查询和实时流式数据处 理分析能⼒。 安全 架构安全、认证安全、⽂件系统层加密 可靠 所有管理节点组件均实现HA（High Availability） 集群异地灾备 数据备份恢复 易⽤ 统⼀运维管理 易集成 易开发 系统架构 Manager 作为运维系统，为FusionInsight HD提供⾼可靠、安全、容错、易⽤的集群管理能⼒，⽀持⼤规模集群的安装部署、监控、告警、⽤ 户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等。 FusionInsight Manager由OMS和OMA组成： OMS：操作维护系统的管理节点，OMS⼀般有两个，互为主备。 OMA：操作维护系统中的被管理节点，⼀般有多个。 Hue Hue提供了FusionInsight HD应⽤的图形化⽤户界⾯。Hue⽀持展⽰多种组件，⽬前⽀持HDFS、Hive、YARN/MapReduce、 Oozie、Solr、ZooKeeper以及Spark。 Hue是建⽴在Django Python的Web框架上的Web应⽤程序，采⽤了MTV(模型M-模板T-视图V)的软件设计模式。（Django Python 是开放源代码的Web应⽤框架。）Hue由"Supervisor Process"和"WebServer"构成。"Supervisor Process"是Hue的核⼼ 进程，负责应⽤进程管理。"Supervisor Process"和"WebServer"通过"THRIFT/REST"接⼝与WebServer上的应⽤进⾏交 互，如图所⽰。 Loader 实现FusionInsight HD与关系型数据库、⽂件系统之间交换数据和⽂件的数据加载⼯具；同时也可以将数据从关系型数据库或者⽂件 服务器导⼊到FusionInsight HD的HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者⽂件服务器中。同时提供 REST API接⼝，供第三⽅调度平台调⽤。 Loader模型主要由Loader Client和Loader Server组成： - Flume ⼀个分布式、可靠和⾼可⽤的海量⽇志聚合系统，⽀持在系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简 单处理，并写⼊各种数据接受⽅（可定制）的能⼒。 - FTP-Server FTP-Server是⼀个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server⽀持FTP、FTPS协议，每个服务都⽀持PORT、 PASSIVE数据通信协议。⽤户或业务组件可通过通⽤的FTP客户端、传输协议提供对HDFS⽂件系统进⾏基本的操作，例如：⽂件上 传、⽂件下载、⽬录查看、⽬录创建、⽬录删除、⽂件权限修改等。 FTP-Server服务由多个FTP-Server进程或FTPS-Server进程组成。 FTP-Server服务可以部署在多个节点上，每个节点上只有⼀个FTP-Server实例，每个实例只有⼀个FTP Server进程。 Hive 建⽴在Hadoop基础上的开源的数据仓库，提供⼤数据平台批处理计算能⼒，能够对结构化/半结构化数据进⾏批量分析汇总完成数据 计算。提供类似SQL的Hive Query Language语⾔操作结构化数据存储服务和基本的数据分析服务。其基本原理是将HQL语⾔⾃动转 换成MapReduce任务，从⽽完成对Hadoop集群中存储的海量数据进⾏查询和分析。 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，下图为Hive的结构概图。 Mapreduce 提供快速并⾏处理⼤量数据的能⼒，是⼀种分布式数据处理模式和执⾏环境。MapReduce是⼀种简化并⾏计算的编程模型，名字源于 该模型中的两项核⼼操作：Map和Reduce。Map将⼀个作业分解成为多个任务，Reduce将分解后多个任务处理的结果汇总起来，得 出最终的分析结果。 如图所⽰，MapReduce通过实现YARN的Client和ApplicationMaster接⼝集成到YARN中，利⽤YARN申请计算所需资源。 Storm 提供分布式、⾼性能、⾼可靠、容错的实时计算平台，可以对海量数据进⾏实时处理。CQL（Continuous Query Language）提供 的类SQL流处理语⾔，可以快速进⾏业务开发，缩短业务上线时间。 Spark 基于内存进⾏计算的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了⽐MapReduce⾼10到 100倍的计算能⼒。Spa
大数据平台测试
02-24
大数据平台测试包括2部分：基础能力测试和性能测试Ⅰ).基础能力测试大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持大数据平台是否能够通过界面的形式方便用户进行非运行维护，主要包括集群的安装、监控、配置、操作等大数据平台是否能够提供基本的安全方案a).是否具备认证功能以防止恶意访问和攻击b).是否能够进行细粒度的权限管理c).是否能够提供审计和数据加密功能大数据平台是否具备高可用的机制，防止机器的失效带来的任务失败以及数据丢失大数据平台是否能够支持机器快速平滑地扩展和缩容时带来线性的计算能力大数据平台是否能够支持多个调用接口以及对SQL语法的支持情况大
一种宽带集群系统录音服务器会话数据的存储策略
01-19
随着无线高速数据业务的飞速发展，宽带化已经成为无线专网发展的必然趋势。在集群通信系统进行指挥调度的过程中，系统将向数据宽带化、业务多样化方向发展。根据宽带集群系统的特点，分析了录音服务器的需求，提出了一种存储策略：多线程接收各路会话数据，存储在缓存中，并根据会话类别、分级目录管理方法，将会话数据以文件的形式存于磁盘中，便于客户端的查询回放。
数据平台集群服务器数量节点数及存储容量等参数
科学的N次方
04-12 1289
1.现有数据量 2.日增长数据量 3.中间计算结果 4.各阶段数据存储时长 5.数据冗余空间。比如副本数 CPU和内存，总存储空间根据需求设定，集群间网络带宽要大，最好是内网。数据盘不用做raid，因为hadoop有备份数据的功能。 如果计算任务复杂且多，CPU需要高配。如果使用的大数据组件吃内存内存需要高配。 ...
如何确认集群规模？
qq_45862976的博客
03-03 3080
如何确认集群规模？（假设：每台服务器8T磁盘，128G内存） 假设：计算 每天日活跃用户100万，每人一天平均100条：100万 * 100 = 1亿条； 每天日志1k左右，每天1亿条：1k * 100000000 / 1024 / 1024 = 约100G； 半年内不扩张服务器来算：100G * 180天 = 约18T； 保存3副本：18T * 3 = 54T； 预留20%~30%Buf = 54T/0.7 = 77T； 算到这里，总结下来：数量为：77T / 8T ，约10台。 和 ...
服务器系统容量,服务器的容量多大
weixin_29920697的博客
08-06 1987
服务器的容量多大 内容精选换一换您可以查看Anti-DDoS监控报表，查看单个公网IP的监控详情，包括当前防护状态、当前防护配置参数、24小时的流量情况、24小时的异常事件等。您可以查看Anti-DDoS拦截报告，查看所有公网IP的防护统计信息，包括清洗次数、清洗流量，以及弹性云服务器、弹性负载均衡或裸金属服务器被攻击次数Top10排名和共拦截攻击次数。您可以为Anti您可以查看Anti-DDoS...
虚拟化层对应什么结合Paas提供硬件服务，包括服务器集群及硬件检测等服务
06-08
虚拟化层通常对应于IaaS（Infrastructure as a Service）层，而PaaS（Platform as a Service）层则提供基于云平台的应用程序开发和部署环境，包括开发工具、运行环境、数据库管理、负载均衡等服务。因此，虚拟化层和PaaS层提供的服务是不同的。 在IaaS层中，虚拟化层提供了虚拟化技术，将物理服务器资源划分成多个虚拟机，使得用户可以通过云平台来管理和分配这些虚拟机。在这个层次上，用户可以创建和管理虚拟机、存储卷、网络、安全组等资源，并可以根据自己的需求进行弹性扩容和缩容。 对于Paas提供硬件服务，包括服务器集群和硬件检测等服务，这通常是在IaaS层中实现的。在IaaS层中，云平台会提供服务器集群和硬件检测等服务，这些服务是基于虚拟化技术实现的。通过服务器集群，用户可以分配和管理多个物理服务器资源，实现高可用性和负载均衡。而硬件检测则可以实时监测物理服务器的状态和性能指标，以保证系统的稳定性和安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值