2017年04月_数据源的港湾

原创 Dbvisualizer 向Trafodion导入数据

本文主要介绍如何用Dbvisualizer向Trafodion表导入数据文件，使用的Dbisualizer版本为9.5破解版，因为Dbvisualizer向表import数据的功能只有在Pro版本才支持，从Dbisualizer官方文档可以得到证明，1 下载Dbvisualizer的破解工具，包括以下文件2 用1中的dbvis.puk替换原Dbvis.jar中的相同文件3 导入1中的dbvis.li

2017-04-22 22:37:44 2754 1

原创 Trafodion 全局设置UTF8格式

在文章 http://blog.csdn.net/post_yuan/article/details/52921616 中，我们提到Trafodion可以支持存储中文，也提到如何设置一个字符类型为UTF8格式，有的时候有些表可能字段比较表，而且存储中文的字段也比较多，如果想省事希望在建表的时候对整个表的字符类型字段都设置为UTF8格式应该如何实现，更或者，希望对整个数据库级别的所有建表都设置成UTF

2017-04-21 16:25:32 984

原创 Trafodion 使用odb加载中文

在之前的一篇文章中，我们介绍如何安装并使用odb工具，请见http://blog.csdn.net/post_yuan/article/details/54631881 在另外一篇文章我们也通过几个简单的例子介绍如何用odb进行基本的数据加载、抽取、转换工作，请见http://blog.csdn.net/post_yuan/article/details/52671874现在我们考虑一下如果原始数

2017-04-21 15:26:29 1281

原创 Trafodion 解决delete慢的问题

Trafodion不推荐在单一语句中删除或更新超过10000*n行（n为节点数）。所以在有大的删除或更新时，可能的情况下，应该分成多条语句执行，每条不超过10000*n行。具体语法如下，delete [first 10000*n] from table_name ...如果要按照这种方式实现，可能需要结合for..loop循环删除数据。除此之外，Trafodion提供另外一种delete数据的方法，

2017-04-19 11:54:51 1739

原创 CDH 修改集群IP

最近遇到一个Case：客户原来的Hadoop集群的物理机要迁移至别的地方，这将导致物理机的IP要更换。这让我不禁想到一个问题：CDH Manager页面中的主机IP的信息究竟是保存在哪里的？后来才明白，CDH Manager在安装的时候会配置相应的数据库，用来保存集群所有的配置信息，因此这里的节点的IP也是保存在这个数据库中，所以如果更换了节点的IP，就必须要更新此数据库的配置信息。具体步骤如下，1

2017-04-19 10:48:45 4379 3

原创 Trafodion 使用snapshot扫描大表

在Trafodion数据库中，我们经常需要对一个超大表进行扫描，如count，或者查询大批量的数量，这无疑对性能是一个严峻的考验。针对这种超大数据集的查询计算，Trafodion利用HBase snapshot特性提高性能，关于HBase snapshot的概念及Trafodion中如何使用snpashot提升性能如下，什么是snapshot?A snapshot is a set of met

2017-04-19 10:16:58 760

原创 Trafodion Troubleshooting-Sort failed while writing to a scratch file with error 28

现象Trafodion中执行大数据集的加载或基于大数据集创建索引等情景下，有时会报以下错误，*** ERROR[10007] Sort failed while writing to a scratch file with error 28. Details: SQScratchFile::executeVectorIO分析在执行大数据集的加载时，数据在加载到目标表前经常需要先进行排序，排序需要把中

2017-04-18 22:57:51 706

原创 Trafodion 不挂断后台运行sql小技巧

Trafodion可以使用sqlci -i执行一个sql脚本，如下[trafodion@n13 ~]$ cat test1.sqlset schema seabase;set statistics on;select current_timestamp from dual;[trafodion@n13 ~]$ sqlci -i test1.sqlEsgynDB Advanced Conver

2017-04-14 09:15:07 954

原创 Trafodion 监控esp进程小技巧

Trafodion在并发执行query语句的时候会启用多个esp进程，默认情况下每个esp进程占用512MB内存。因此，在高并发测试场景中，过多的esp进程是导致系统out of memory的一个很重要的原因。通过linux的while语句结合Trafodion的sqps命令可以动态监控esp进程的个数，命令如下while true; do sqps | grep esp | wc -l; sle

2017-04-14 09:08:27 701

原创 Trafodion 最多支持多少表

不知道大家在各自的数据库里面都创建过多少的表，反正据我之前的经历，最多也就几百张吧，不过最近听到有人在Oracle环境中有上万张表，我就惊讶了，上万张表，那得是有多少的业务量啊？不过话说回来，最近就遇到这样的一个问题，人家Oracle存储上万张表没问题，那Trafodion如何？关于这个问题，我就来说道说道，首先，Trafodion是基于HBase，也就是说，每个Trafodion表实质上就是一个H

2017-04-13 11:15:04 1435

原创 Trafodion 查看已执行的Query语句

Trafodion会保存已执行的Query语句及相关执行信息在”REPOS“下面的METRIC_QUERY_TABLESQL>set schema "_REPOS_";--- SQL operation complete.SQL>get tables;Tables in Schema TRAFODION._REPOS_==================================METRIC

2017-04-07 09:35:43 577

数据源的港湾