数据平台集群服务器数量节点数及存储容量等参数

1.现有数据量
2.日增长数据量
3.中间计算结果
4.各阶段数据存储时长
5.数据冗余空间。比如副本数
CPU和内存,总存储空间根据需求设定,集群间网络带宽要大,最好是内网。数据盘不用做raid,因为hadoop有备份数据的功能。
如果计算任务复杂且多,CPU需要高配。如果使用的大数据组件吃内存内存需要高配。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
数据服务器选型原则及实例解说 数据服务器作为业务系统的核心,具有业务量大、存储数据量大等特点。它承担着业 务数据存储和处理任务,因此关键数据服务器的选择就显得尤为重要。服务器的可 靠性和可用性是首要的需求,其次是数据处理能力和安全性,然后是可扩展性和可管理 性。   根据应用类型和规模的不同,数据库对于服务器的性能要求也不一样。如对于大型 数据库(, , )来说,服务器往往仅用来运行数据库,或仅运行单一的应用。数据库的容量在以上,需 要有较高的处理能力,大容量内存为数据缓存服务,并需要很好的性能,使用这类应用 时,通常需要有较高的主频。那么,具体到某个行业甚至某个项目,数据服务器该如 何选择呢?   数据服务器选型五个原则   首先,数据服务器选型应该遵循以下几个原则:   )高性能原则   保证所选购的服务器,不仅能够满足运营系统的运行和业务处理的需要,而且能够 满足一定时期的业务量增长的需要。一般可以根据经验公式计算出所需的服务器值,然 后比较各服务器厂商和组织公布的值,选择相应的机型。同时,用服务器的市场价报价 除去计算出来的值得出单位值的价格,进而选择高性能价格比的服务器。   )可靠性原则   可靠性原则是所有选择设备和系统中首要考虑的,尤其是在大型的、有大量处理要 求的、需要长期运行的系统。考虑服务器系统的可靠性,不仅要考虑服务器单个节点的 可靠性或稳定性,而且要考虑服务器与相关辅助系统之间连接的整体可靠性,如:网络 系统、安全系统、远程打印系统等。在必要时,还应考虑对关键服务器采用集群技术, 如:双机热备份或集群并行访问技术,甚至采用可能的完全容错机。   比如,要保证系统(硬件和操作系统)在的时间内都能够正常运作(包括维修时间), 则故障停机时间六个月不得超过个小时。服务器需×小时连续运行,因而要求其具有很高 的安全可靠性。系统整机平均无故障时间()不低于小时。服务器如出现损坏或其它机械 故障,都能在分钟内由备用的和机器自动代替工作,无须人员操作,保证数据完整。   )可扩展性原则   保证所选购的服务器具有优秀的可扩展性原则。因为服务器是所有系统处理的核心 ,要求具有大数据吞吐速率,包括:速率和网络通讯速率,而且服务器需要能够处理一 定时期的业务发展所带来的数据量,需要服务器能够在相应时间对其自身根据业务发展 的需要进行相应的升级,如:型号升级、内存扩大、硬盘扩大、更换网卡、增加终端数 目、挂接磁盘阵列或与其他服务器组成对集中数据的并发访问的集群系统等。这都需要 所选购的服务器在整体上具有一个良好的可扩充余地。一般数据库和计费应用服务器在 大型计费系统的设计中就会采用集群方式来增加可靠性,其中挂接的磁盘存储系统,根 据数据量和投资考虑,可以采用、或等实现技术。   )安全性原则   服务器处理的大都是相关系统的核心数据,其上存放和运行着关键的交易和重要的 数据。这些交易和数据对于拥有者来说是一笔重要的资产,他们的安全性就非常敏感。 服务器的安全性与系统的整体安全性密不可分,如:网络系统的安全、数据加密、密码 体制等。服务器需要在其自身,包括软硬件,都应该从安全的角度上设计考虑,在借助 于外界的安全设施保障下,更要保证本身的高安全性。   )可管理性原则   服务器既是核心又是系统整体中的一个节点部分,就像网络系统需要进行管理维护 一样,也需要对服务器进行有效的管理。这需要服务器的软硬件对标准的管理系统支持 ,尤其是其上的操作系统,也包括一些重要的系统部件。   实例解说数据服务器选型   为了让大家对上述原则有更清晰的认识,下面我们以金保工程某省级数据中心交换 区数据服务器为例,来详细阐述其数据服务器选型的方法。   省级数据中心交换区数据服务器中作为社会保险关系异地转移、离退休人员异地 数据交换和异地就医数据交换的数据服务器,支持在职人员社会保险关系跨市转移的 信息交换,以及异地领取养老金相关信息(如人员的基本状况、支付标准、生存状况等) 的交换,同时保存死亡信息和公共服务信息、临时缓存宏观决策上报数据和基金监管信 息。考虑其作为中央、省、市三级数据中心信息交换的枢纽,所支撑应用的关键性,应 采用高端服务器系统,具体配置要求如下:   )服务器处理能力   为支持本省的异地转移、异地就医和异地领取养老金等业务,需要较高的交易数据 处理能力。计算如下:   假设全省参保总人数万,交易日平均交易人数比例 ,每笔交易对应数据库事务数, 则: 每日实际交易量 ××;交易日集中交易时间分钟;交易日集中期内交易量比例;基准指标值对应实际交易值的 比例处理能力余量,取年内每年处理能力增长率。   根据经验公式计算得出(××(×()) ×()。也就是说,服务器选型应该考虑采用值不低于的高端服务器系统
服务器搬迁及软硬件升级方案全文共7页,当前为第1页。服务器搬迁及软硬件升级方案 服务器搬迁及软硬件升级方案全文共7页,当前为第1页。 服务器搬迁及软硬件升级方案 一、设备搬迁方案 1.搬迁内容 某单位现有设备位于xxx机房,通过本次项目需要搬迁设备到xxx机房内,搬迁涉及的设备主要有14台曙光服务器,其中设备型号 I610r-GV服务器10台,设备型号A620r-G 服务器4台;建议设备型号为I410r-F的40台曙光服务器选择2台作为渲染集群系统的管理机器。其他38台可以逐步报废处理,报废原因为:设备年代久远,可升级的设备部件如:2G FBD667内存难以购得。 其中搬运设备表如下: 搬运设备表 机柜号 品牌 设备型号 操作系统 数量 IP地址 使用科室 U数 2.搬迁步骤 服务器搬迁及软硬件升级方案全文共7页,当前为第2页。经实地考察,需要搬迁的服务器均已断电并卸载,而且需要硬件升级后重新部署新应用。基于以上制定搬迁步骤如下: 服务器搬迁及软硬件升级方案全文共7页,当前为第2页。 服务器搬迁及软硬件升级方案全文共7页,当前为第3页。 服务器搬迁及软硬件升级方案全文共7页,当前为第3页。 其余4台A620r-G服务器均由16条内存插槽,且最大内存容量为48GB,故对这4台服务器内存升级为4台*16条/台=64条内存型号为4G DDR3 1333内存,共计256GB。 2.扩充存储 基础云平台存储子系统以存储虚拟化技术为基础,是云数据中心的核心部分,由高可靠性存储服务器存储网络交换设备和云存储管理系统组成,云存储管理系统采用裸容量授权方式。云存储子系统配置两套高可靠性云存储服务器,共有8个存储节点,每个节点配置6块2TB SATA硬盘,合计设计裸容量为96TB。采取RAID5模式,按照N+1计算的每节点可用容量为10TB。按单副本方式实现节点数据保护,云存储系统总的可用容量为40TB。每个存储节点配置用于存储网络的双口万兆模块一个,采用两台堆叠万兆交换机实现高速数据访问。 3.软件升级 云存储子系统具备跨数据中心存储整合管理能力,为主云数据中心和各分云数据中心之间的业务应用,资源共享和信息交换提供技术实现的可能性,提供云数据中心异地容灾能力服务器搬迁及软硬件升级方案全文共7页,当前为第4页。 数据存储集群通过统一的分布式文件系统,将各类存储设备集合起来协同工作,共同提供数据存储和业务访问功能,能够同时满足结构化数据和非结构化数据存储要求,可以通过配置方式实现对结构化存储节点和非结构化数据存储节点的资源调度,采用标准化的接口协议,支持运行在任何标准IP网络上的应用程序和客户端连接,具备大规模高并发请求响应能力,具备节点数据保护和容灾能力,具有横向扩展能力,通过内建的集中式备份功能实现数据快照、增量备份和故障恢复。 服务器搬迁及软硬件升级方案全文共7页,当前为第4页。 云存储子系统管理界面示意图 三、搭建新的渲染集群 并行集群渲染系统基于 服务器搬迁及软硬件升级方案全文共7页,当前为第5页。自主研发的渲染管理软件构建。根据现有设备,我公司对其进行了硬件(主要是内存)的升级,升级后的渲染集群包括4台A620r-G服务器,其中每台服务器均配置2颗AMD Opteron 6128八核处理器,16条4G DDR3-1333共计64GB服务器内存,配置六块1T 2.5英寸SATA硬盘,最多可扩充至8块SATA硬盘,板载两个Intel千兆网卡。另外10台I610r-GV服务器,每台服务器均配置2颗Intel Xeon E5606四核处理器,6条2G DDR3-1333共计12G服务器内存,配置一块3.5英寸SATA硬盘,最多可扩充至4块SATA硬盘,板载两块Intel 82574L千兆网卡。系统合计14个计算节点,144个CPU核心,376GB内存。 服务器搬迁及软硬件升级方案全文共7页,当前为第5页。 系统采用虚拟化技术实现计算资源高效管理与动态扩展,使用云应用管理软件实现硬件资源的调度与管理。集群渲染管理节点和渲染计算节点可支持Windows、Linux等多种操作系统,可支持Maya、3dsMax等各类主流渲染引擎及其渲染器插件,用户通过渲染管理软件,即可提交计算任务,批量进行镜头渲染。系统使用简便,能够满足各类动画制作,三维渲染计算需求。系统包含 云应用管理软件和渲染管理软件授权及三年技术支持服务。 取其中设备型号 为I410r-F的服务器2台作为平台管理系统服务器。其余38台I410r-F服务器计算资源合计为304个CPU核心,172GB内存。 四、提供运维服务(过保服务) 1. 网络硬件技术服务 服务器搬迁及软硬件升级方案全文共7页,当前为第6页。网络硬件技术服务主要是指我公司为客户提供的计算机硬件方面的支持与服务,主要
服务器集群技术方案 集群(Cluster)技术是发展高性能计算机的一项技术。它是一组相互独立的计算机 ,利用高速通信网络组成一个单一的计算机系统,并以单一系统的模式加以管理。其出 发点是提供高可靠性、可扩充性和抗灾难性。一个集群包含多台拥有共享数据存储空间 的服务器,各服务器通过内部局域网相互通信。当一台服务器发生故障时,它所运行的 应用程序将由其它服务器自动接管。在大多数模式下,集群中所有的计算机拥有一个共 同的名称,集群内的任一系统上运行的服务都可被所有的网络客户使用。采用集群系统 通常是为了提高系统的稳定性和网络中心的数据处理能力及服务能力。 当前主流的集群方式包括以下几种: 1. 服务器主备集群方式 服务器主- 备方式由一台服务器在正常运行状态提供对外服务,其它集群节点作为备份机,备份机 在正常状态下不接受外部的应用请求,实时对生产机进行检测,当生产机停机时才会接 管应用服务,因此设备利用率最高可达50%。主备方式集群如下图所示,节点2为正常提 供服务的服务器,运行多个应用(pkgA,pkgB..),节点1平时只监控节点2的状态,不对 外提供服务,当节点2出现故障时,节点1将把两个应用接管过来,并对外提供服务。 图表 3-2主备方式集群 2. 服务器互备份集群方式 多台服务器组成集群,每台服务器运行独立的应用,同时作为其它服务器的备份机, 当主应用中断,服务将被其它集群节点所接管,接管服务的节点将运行自身应用和故障 服务器的应用,这种方式各集群节点的硬件资源均可被应用于对外服务。互备方式集群 如下图所示,节点1和节点2分别运行1个或多个不同的应用,但只对外提供本地的主应用 ,两个节点之间互相进行监控,集群中任何一个节点出现故障后,另一个节点把故障节 点的主应用接管过来,所有应用服务由一台服务器完成。 图表 3-3互备份方式集群 这种方式的主要缺点在于: 由于需要重新启动数据库核心进程,无法保证数据库系统连续不间断地运行 在系统切换的过程中,客户端与服务器之间的数据库连接会中断,需要重新进行数 据库的连接和登录工作 由于数据库系统只能在一台服务器上运行,另一台服务器无法分担系统的负载,实 际上造成了客户投资的浪费。在有些系统中,为了解决双机负载分担的问题,将 应用系统人为分割为两个数据库系统,分别在两台服务器上运行。这种方式在一 定程度上解决了负载分担的问题,但给系统管理、统计分析等业务处理带来了很 多额外的复杂性 3. 服务器并行集群方式 集群有多台服务器构成,同时提供相同的应用,可以实现多台服务器之间的负载均衡 ,提供大访问量的应用需求,如Web访问及数据库等应用,服务器并行集群方式一般由应 用系统自身(如OracleRAC、中间件负载均衡等)或外部专用服务器负载均衡设备实现。 图表 3-4服务器并行方式集群 以下是上述群集技术对比表: "集群技术 "资源利用率 "故障收敛时间 "可靠性 " "主备集群技术 "资源有效利用率低 "相对较慢 "较高 " "互备集群技术 "资源有效利用率高 "相对较慢 "较高 " "并行集群技术 "资源有效利用率高 "快 "高 " 图表 3-5群集技术对比表 Real Application Cluster(以前称作Oracle Parallel Server,OPS)用来在集群环境下实现多机共享数据库,以保证应用的高可用性。同时可 以自动实现并行处理及均分负载,还能实现数据库在故障时的容错和无断点恢复。 Real Application Cluster为大多数关键业务要求的数据库环境提供了极高的性能和完善的纠错功能。Rea l Application Cluster允许集群系统或大型并行系统中的多个节点共享同一物理数据库。Real Application Cluster可以自动进行负载平衡、故障修复和规划停机时间,以支持高可用性应用程序。 它还显著地提高了大型数据仓库和决策支持系统的性能。通过与并行查询选件结合,它 还提供了节点间的并行性和节点内的并行性,以得到更高的性能。 多服务器的Cluster(集群)结构,因其具有高可靠性、大容量共享磁盘支持、以及 无断点的故障恢复,越来越受到业界的关注,越来越多的硬件厂商都相继推出自己的Cl uster机种和机型,它已经成为硬件平台的一个新的发展方向。 Oracle公司在1989年率先推出Parallel Server选件,以支持这种体系结构(Oracle6.2版)。随着Cluster技术自身的成熟,以及 Oracle对这一技术的经验,Real Application Cluster目前已能支持几乎所有的Cluster集群系统。在share-nothing或shared- disk模式的集群系统上,Real Application Cluste
Hadoop服务器集群的搭建旨在实现分布式存储和计算,以满足大数据处理的需求。以下是Hadoop服务器集群搭建的主要目的: 1. 大数据存储:Hadoop提供了分布式文件系统HDFS,它能够将大规模数据分散存储集群中的多个节点上。通过搭建Hadoop集群,可以获得高容量和可靠的存储系统,能够处理大量数据存储需求。 2. 数据处理:Hadoop通过MapReduce框架,将数据分成小块进行并行计算,并在集群中的多个节点上同时执行计算任务。通过搭建Hadoop集群,可以实现高性能的并行计算,加快大数据处理的速度。 3. 高可用性:Hadoop集群支持故障转移和冗余备份,可以确保在节点故障时不丢失数据和服务中断。通过搭建Hadoop集群并配置高可用性特性,可以提高系统的可靠性和稳定性。 4. 水平扩展:Hadoop集群可以方便地进行水平扩展,即通过添加更多的节点来增加集群的处理能力存储容量。通过搭建Hadoop集群,可以应对不断增长的数据量和计算需求,实现系统的可扩展性。 5. 数据共享和协作:Hadoop集群中的数据可以被多个用户和应用程序共享和访问。通过搭建Hadoop集群,可以提供一个统一的数据平台,方便不同团队或部门之间的数据共享和协作。 总而言之,Hadoop服务器集群的搭建旨在提供一个高可用、可扩展和高性能的大数据处理平台,能够存储和处理海量数据,并支持并行计算和分布式存储,以满足大数据应用的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值