关闭

Trafodion 资源配置需求

230人阅读 评论(0) 收藏 举报
分类:

1. 进程(Processing Usage)

(1) 对于典型的高性能配置,管理节点必须和数据节点独立开来。管理节点和数据节点在存储、网络和内存方面要求都有所不同。
(2) 对于小型测试环境,数据节点和管理节点不必区分太明显,甚至可以装在一个节点上。只能要满足基本的要求且配置是合法的都没有问题。
下面是关于评估需要多少节点数考虑的要素,
(1) 相比较于更少的节点数及每节点更多的内核数,应该选择更多的节点数及每节点更少的内核数。每个节点的内核数为8个或以上较好。Scaling out(增加节点数)比scaling up(增加内核数)更好,原因是,
[1]增加节点数比增加内核数成本要低。
[2]当一个节点宕机时集群失效的影响更小。
[3]节点越多可利用的I/O带宽和并发度更高。
(2) 不建议集群节点数小于3个,因为HDFS默认3复本特性。
(3) 集群连接的并发用户决定mxosrvr进程的数目。mxosrvr在一个节点上可以有多个。
(4) 负载的类型也是决定节点数的一个关键因素。如果是大的扫描,需要更大的并发度,小的查询则节点数可以更少。

2. 内存(Memory Usage)

(1) 很多Hadoop生态系统的进程都是Java进程。考虑到JVM性能优化,建议每个节点内存不能低于32GB。
(2) 数据节点上内存消耗较大的进程包括:
[1]HDFS DataNode进程
[2]HBase RegionServers
(3) 控制节点上内存消耗较大的进程包括:
[1]HDFS NameNode进程
对于大规模集群,建议每个节点设置16~32GB的heap size。
(4)Trafodion数据库中最主要的内存消耗者是mxosrvrs。一个连接需要一个mxosrvr,默认每个mxosrvr需要512M(0.5 GB)内存。

3. 磁盘(Disk Usage)

(1) 对于数据节点,SSD只对高并发写有效。通常情况下HDD就足够了。对于控制节点,SSD同样也如此,使用SSD主要目的是把更多的控制信息缓存在内存中。
(2) 对于数据节点,HDD磁盘配置是简单的JBOD(Just a Bunch of Disks)配置。RAID会使HDFS效率下降,同时会降低并发度和可恢复性。对于控制节点,数据盘可以配成JBOD或者是RAID1或者RAID10。
(3) 磁盘数决定并发能力。更多更小的磁盘比一块大的磁盘要好,因为可支持的并发越高。
(4) 强烈建议使用HBase SNAPPY或GZ压缩。SNAPPY需要更少的CPU,而GZ压缩比更高。
(5) 计算整体磁盘空间时,确保计算工作区空间和每个节点预期的流入/流出。另外要记住HDFS复本默认是3个,意味着10GB的文件需要30GB的磁盘空间。

4. 网络(Network Usage)

(1) 通常情况下,10 GigE是Trafodion要求的标准网络。如果网络较慢将会明显影响性能。2个10 GigE网络结合可以为I/O要求较高的应用提供更高的吞吐量。
(2) 某些场景下,为集群配置另外一个相对慢一点的网络(非Hadoop/HBase),这样可以把操作型工作流负载独立开来。
(3) 考虑到多机架的失效还原,对于3复本情况下,至少有一个复本数据在另外一个机架上。
(4) 如果是使用EsgynDB的多数据中心,两个数据中心之间的网络必须要好。

1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Trafodion 使用odb加载中文

在之前的一篇文章中,我们介绍如何安装并使用odb工具,请见http://blog.csdn.net/post_yuan/article/details/54631881 在另外一篇文章我们也通过几个简单的例子介绍如何用odb进行基本的数据加载、抽取、转换工作,请见http://blog.csdn....
  • Post_Yuan
  • Post_Yuan
  • 2017-04-21 15:26
  • 451

Trafodion 开发环境搭建

Trafodion是Apache下面的开源孵化项目,既然是开源,任何人都可以修改并提交你的代码,Trafodion欢迎大家通过各种方式为开源社区贡献一份力量,最直接的方式当然是提交你的代码。要想将自己的代码提交到开源Trafodion社区,首先得准备一套自己的开发环境,有了自己的开发环境,就可以在下...
  • Post_Yuan
  • Post_Yuan
  • 2017-11-15 11:56
  • 473

Trafodion 主要进程介绍

在一个Trafodion正常运行的环境中,通过sqps命令,我们可以查看到Trafodion主要的进程,以下输出是一个3个Trafodion节点的集群环境,[trafodion@n12 esgynDB-2.2.0]$ sqps Processing cluster.conf on local hos...
  • Post_Yuan
  • Post_Yuan
  • 2017-03-22 16:14
  • 385

浅析Trafodion体系结构

Trafodion简介Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库,它完全开源免费。Trafodion能够完整地支持ANSI SQL,并且提供ACID事务保证。和传统关系数据库不同的地方在于,Trafodion利用底层Hadoop的横向扩展能力,可以提供极高的扩展性。...
  • Post_Yuan
  • Post_Yuan
  • 2017-02-13 11:17
  • 398

Trafodion 安装教程

环境 操作系统:CentOS release 6.7 (Final) Hadoop版本:CDH 5.4.8 节点数:2 单节点内存:8G 安装包 - Trafodion 服务器安装包 - Trafodion 客户端安装包 - Trafodion 安装程序包
  • Post_Yuan
  • Post_Yuan
  • 2016-12-12 12:21
  • 1589

Trafodion 架构简介

介绍 Trafodion提供基于Hadoop之上的一个SQL引擎,一个可以在Hadoop大数据环境中进行操作的解决方案。 主要包括: 完整的ANSI SQL标准支持对读写查询的ACID保护,提供分布式的事务保护机制能够访问多种存储引擎中的数据,包括本地HBase及Hive中的数据支持对客户端应用的...
  • Post_Yuan
  • Post_Yuan
  • 2016-10-26 11:21
  • 1699

Trafodion odb 安装及使用

1 什么是odbodb是一款平台无关的,多线程的,基于ODBC的命令行工具。Trafodion数据库使用odb来做以下事情:并行数据加载/抽取查询驱动SQL解释器2 安装配置Trafodion ODBC Driver(1) 下载unixODBC[centos@cent-1 clients]$ sud...
  • Post_Yuan
  • Post_Yuan
  • 2017-01-20 15:55
  • 548

Trafodion 查询表包含字段

Trafodion把所有的表、列、索引等元信息存储在单独的schema下面,这个schema名称为”MD“。下面我们来看下元数据schema下面的内容,SQL>set schema "_MD_";--- SQL operation complete.SQL>get t...
  • Post_Yuan
  • Post_Yuan
  • 2017-02-21 18:06
  • 336

Trafodion数据加载性能测试

在之前写的另外一篇文章“Trafodion 数据加载介绍”中提到,Trafodion数据加载主要有以下四种方式, Insert Upsert Upsert Using Load Load 从性能上面来看,这四种加载方式是依次递增的,即Load >Upsert Using Load &g...
  • Post_Yuan
  • Post_Yuan
  • 2016-12-15 09:37
  • 661

Trafodion成熟的SQL on HBase解决方案

简介Trafodion是一个开源Apache项目。它提供了一个成熟的企业级SQL on HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载,或者是传统的OLTP应用。此外,对于需要保证数据一致性,需要标准SQL开发接口,或者需要实时数据读写分析的应用,Tr...
  • Post_Yuan
  • Post_Yuan
  • 2017-02-13 10:00
  • 806
    个人资料
    • 访问:164431次
    • 积分:4104
    • 等级:
    • 排名:第8821名
    • 原创:227篇
    • 转载:7篇
    • 译文:3篇
    • 评论:35条
    Apache Trafodion中国交流群
    QQ:233105278
    联系方式
    微信号:ygzxlgjbd
    最新评论