Trafodion 资源配置需求

原创 2017年01月03日 17:59:14

1. 进程(Processing Usage)

(1) 对于典型的高性能配置,管理节点必须和数据节点独立开来。管理节点和数据节点在存储、网络和内存方面要求都有所不同。
(2) 对于小型测试环境,数据节点和管理节点不必区分太明显,甚至可以装在一个节点上。只能要满足基本的要求且配置是合法的都没有问题。
下面是关于评估需要多少节点数考虑的要素,
(1) 相比较于更少的节点数及每节点更多的内核数,应该选择更多的节点数及每节点更少的内核数。每个节点的内核数为8个或以上较好。Scaling out(增加节点数)比scaling up(增加内核数)更好,原因是,
[1]增加节点数比增加内核数成本要低。
[2]当一个节点宕机时集群失效的影响更小。
[3]节点越多可利用的I/O带宽和并发度更高。
(2) 不建议集群节点数小于3个,因为HDFS默认3复本特性。
(3) 集群连接的并发用户决定mxosrvr进程的数目。mxosrvr在一个节点上可以有多个。
(4) 负载的类型也是决定节点数的一个关键因素。如果是大的扫描,需要更大的并发度,小的查询则节点数可以更少。

2. 内存(Memory Usage)

(1) 很多Hadoop生态系统的进程都是Java进程。考虑到JVM性能优化,建议每个节点内存不能低于32GB。
(2) 数据节点上内存消耗较大的进程包括:
[1]HDFS DataNode进程
[2]HBase RegionServers
(3) 控制节点上内存消耗较大的进程包括:
[1]HDFS NameNode进程
对于大规模集群,建议每个节点设置16~32GB的heap size。
(4)Trafodion数据库中最主要的内存消耗者是mxosrvrs。一个连接需要一个mxosrvr,默认每个mxosrvr需要512M(0.5 GB)内存。

3. 磁盘(Disk Usage)

(1) 对于数据节点,SSD只对高并发写有效。通常情况下HDD就足够了。对于控制节点,SSD同样也如此,使用SSD主要目的是把更多的控制信息缓存在内存中。
(2) 对于数据节点,HDD磁盘配置是简单的JBOD(Just a Bunch of Disks)配置。RAID会使HDFS效率下降,同时会降低并发度和可恢复性。对于控制节点,数据盘可以配成JBOD或者是RAID1或者RAID10。
(3) 磁盘数决定并发能力。更多更小的磁盘比一块大的磁盘要好,因为可支持的并发越高。
(4) 强烈建议使用HBase SNAPPY或GZ压缩。SNAPPY需要更少的CPU,而GZ压缩比更高。
(5) 计算整体磁盘空间时,确保计算工作区空间和每个节点预期的流入/流出。另外要记住HDFS复本默认是3个,意味着10GB的文件需要30GB的磁盘空间。

4. 网络(Network Usage)

(1) 通常情况下,10 GigE是Trafodion要求的标准网络。如果网络较慢将会明显影响性能。2个10 GigE网络结合可以为I/O要求较高的应用提供更高的吞吐量。
(2) 某些场景下,为集群配置另外一个相对慢一点的网络(非Hadoop/HBase),这样可以把操作型工作流负载独立开来。
(3) 考虑到多机架的失效还原,对于3复本情况下,至少有一个复本数据在另外一个机架上。
(4) 如果是使用EsgynDB的多数据中心,两个数据中心之间的网络必须要好。

版权声明:本文为博主原创文章,如需转载,请注明出处。 举报

相关文章推荐

lubuntu桌面配置需求及实现(1)

lubuntu桌面配置需求及实现(1) 1.修改开始菜单      1.1实现重启与关机             1.1.1实现普通用户能使用reboot        ...

yarn 资源配置

转载:     https://www.iteblog.com/archives/1945.html   http://www.tuicool.com/articles/Rf6v6j  YARN...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

puppet资源配置

转自:http://blog.chinaunix.net/uid-23480577-id-3379623.html puppet资源配置 在puppet中基本的配置宣称叫做资源,像我们...

源码编译-Build Source

1.环境准备想要更进一步了解和使用Trafodion,难免不得不自己尝试一番编译源码,此为之前做的一个小任务,踩过一些坑,现分享出来并做个总结。[参考](https://cwiki.apache.or...

Servlet配置与资源参数

import java.io.*; import javax.servlet.*; import javax.servlet.http.*; // 继承HttpServlet 类 public c...

kettle-配置资源库

打开spoon的时候会弹出一个提示框,让我们连接到资源库。另外也可以在tools菜单下的资源库中选择连接资源库,之后就出现如图所示的输入框:             &#...

Tomcat JNDI资源访问配置

JNDI:Java Naming and Directory Interface Java命名和目录接口,顾名思义就是提供Java的名称和目录方面的操作常用名词解释: 命名系统:一个具有相同命名约...

SAP 人力资源工资配置项3---工资项配置

工资项设置

log4j.properties资源配置文件

##############Console Logger########################## log4j.rootLogger=INFO, stdout #off ,fatal,e...
  • zavens
  • zavens
  • 2011-09-16 11:43
  • 1246

gradle 压缩资源配置

压缩代码和资源 要尽可能减小 APK 文件,您应该启用压缩来移除发布构建中未使用的代码和资源。此页面介绍如何执行该操作,以及如何指定要在构建时保留或舍弃的代码和资源。代码压缩通过 ProGuard ...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)