当前搜索:

Trafodion CQD-comp_bool_158

Trafodion目前版本中,我们有时候会遇到两个关联且属于精确查询的场景下,表无法使用索引的情况。拿以下SQL作为示例, select d1.* from MS.CH_AGED_INFO d inner join MS.CH_OLD_PEOP_VIS d1 on d.id = d1...
阅读(7) 评论(0)

EsgynDB 创建Hive外表

EsgynDB支持直接读取Hive Metadata访问Hive原生表,从而绕过了Hive自身需要经过Map Reduce的动作而减少延迟。一般情况下,使用EsgynDB的SQL引擎去访问Hive原生表比使用Hive本身的Map Reduce方式的性能要高出很多倍。 从EsgynDB执行对Hiv...
阅读(22) 评论(0)

Trafodion之update性能优化

Trafodion支持事务,支持增删改语句。对于数据修改,常用的SQL语句我们知道就是UPDATE … SET …,Trafodion当然也支持UPDATE语法,与其他传统数据库语法完全一致。然而,从性能角度考虑,由于Trafodion的UPDATE是逐行更新,性能相对较差。那么如何对UPDATE...
阅读(30) 评论(0)

Sqoop从PostgreSQL导入Hive遇到的两个问题

昨天尝试使用Sqoop从PostgreSQL向Hive中迁移数据,过程中遇到两个问题,在此记录一下,以备以后遇到类似问题可以快速找到解决方案。 问题1:当PostgreSQL表中有json类型时Sqoop命令报以下错误 No Java type for SQL type 1111 fo...
阅读(45) 评论(0)

Trafodion CQD-number_of_countstar_rows_parallel_threshold

在之前的一篇文章中,我们介绍了Trafodion的hbase_coprocessors这个CQD。hbase_coprocessors用于控制Trafodoin中的count(*)此类语句是否下推到HBase层使用HBase自身的coprocessors。 然而,对于count(),Trafod...
阅读(24) 评论(0)

Linux配置Oracle ODBC驱动并使用odb工具测试连接

前面多篇文章我们介绍了Trafodion的odb工具,包括如何配置Trafodion的ODBC驱动,如何使用odb数据进行数据的加载、抽取、转换。odb可以在不同的关系型数据库之间进行数据传输而不用数据落地。由于odb是基于ODBC,使用odb从关系型数据库A迁移数据到关系型数据库B之前,需要提前...
阅读(39) 评论(0)

Oracle使用sqlldr加载数据

最新正好遇到往Oracle数据库表中导入大批量数据的问题,于是了解到Oracle自带sqlldr工具,支持快速地向Oracle数据库中导入大批量数据。 概括地说,使用sqlldr往Oracle表中导入文本文件需要经历以下几个步骤, 1 创建目标表 drop table perf_tbl1; ...
阅读(12) 评论(0)

Trafodion集成Sentry实现Hive权限控制

本文主要描述如何在CDH上安装并配置Hive使用Sentry,并介绍如何使用trafodion用户实现Hive对象的权限控制。主要步骤及描述如下, 一、安装并配置使用Sentry 1 CDH Manager添加Sentry服务 2 配置Hive使用Sentry ...
阅读(88) 评论(0)

EsgynDB子集备份恢复常用命令

本文主要列出EsgynDB在线备份恢复之子集备份恢复涉及到的常用命令,主要分为表级别和模式级别的备份恢复。 1 创建测试表和模式 create schema schema_20180316; set schema schema_20180316; create table table_1 ...
阅读(36) 评论(2)

使用php+odbc连接Trafodion样例

PHP是一门高效的动态编程语言,而ODBC是用于连接编程语言和数据存储的软件驱动工具。通过ODBC驱动,可以用PHP连接到各种数据库,包括MySQL、PostgreSQL等等,当然也包括Trafodion。下文介绍如何配置PHP连接Trafodion数据库并执行简单的数据库查询。 1 安装PHP...
阅读(48) 评论(0)

Sqoop抽数报IO Error: Connection reset

现象 在使用Sqoop从Oracle抽数据到Hive表时,有时候会遇到以下报错, Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Erro...
阅读(53) 评论(0)

Trafodion 使用DATEDIFF计算两个时间差

在Trafodion中,我们使用DATEDIFF内嵌函数来计算两个时间差值,计算的时间差可以包括多种粒度,如YEAR、MONTH、DAY、HOUR、MINUTE、SECOND、QUARTER、WEEK。 DATEDIFF的用法如下, DATEDIFF (datepart, startdat...
阅读(25) 评论(0)

CentOS使用ISO镜像做本地YUM源

有时候在没有外网连接的时候无法使用YUM从外网下载RPM包,这时可能需要创建本地YUM源,如果有一个现成的完整的ISO镜像,可以挂载ISO镜像文件做为本地YUM源。主要步骤如下, 1 创建iso存放目录和挂载目录 mkdir /mnt/iso mkdir /mnt/cdrom 2 上传...
阅读(52) 评论(0)

Linux 列出RPM包依赖的两个命令

以下两个命令可以列出RPM包的依赖情况, 1 yum deplist pakcage yum deplist ntp Loaded plugins: fastestmirror Finding dependencies: Loading mirror speeds from cached...
阅读(84) 评论(0)

使用yumdownloadonly下载RPM包及依赖包

如何使用yumdownloadonly下载RPM包及依赖包的步骤: 1 下载yumdownloadonly插件 yum install yum-plugin-downloadonly 2 下载到指定目录(依赖包会一起下载) yum install --downloadonly --down...
阅读(35) 评论(0)

Trafodion之LEAD和LAG窗口函数

Oracle支持很多窗口函数,包括LEAD和LAG窗口函数,用于获取下一条或上一条记录对应字段信息。Trafodion也一样,它也支持很多的窗口函数,同样也支持LEAD和LAG窗口函数,有关LEAD和LAG窗口函数的详细语法,可以参考Apache Trafodion官网SQL手册之http://t...
阅读(41) 评论(0)

Trafodion 权限相关命令

当前的Trafodion数据库支持通过LDAP的方式来管理用户及权限。Trafodion有很多与权限控制相关的SQL命令,本文列举一些常用的SQL语法供读者参考,这些SQL命令大部分可以通过Trafodion官网的SQL手册查看到,可能有少部分目前尚未维护在官网中。 1 查看系统有哪些用户(ge...
阅读(33) 评论(0)

简析MDAM之Sparse vs Dense

当一个查询语句对索引中的首字段是范围查询或者没有首字段过滤条件时,MDAM需要遍历索引并确定范围内的每一个值。正如前面一篇文章http://blog.csdn.net/post_yuan/article/details/79277974 中的第二张图所描述,MDAM之所以不需要扫描全表,是因为MD...
阅读(72) 评论(0)

简析MDAM(Multi Dimensional Access Method)之一

在传统的关系型数据库中,我们经常使用”B-树”索引来提升查询性能。B-树索引通常包含表的一个或多个字段,比如一个销售表sales上有一索引包括三个字段(date,store,item)。现有一需求是查询某一天某个商店对于某个商品的销售额,查询SQL大致为:select sum(price) fro...
阅读(92) 评论(0)

试用EsgynDB新特性之在线备份与恢复

EsgynDB是基于开源版本Apache Trafodion的基础上实现的商业版本,除了Trafodion本身的特性之外,EsgynDB还附带了很多其他的功能,如界面化的管理工具EsgynDB Manager,多数据中心支持,在线备份等功能。 备份恢复是数据库中比较重要的功能,定期的数据库备份是...
阅读(86) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 22万+
    积分: 4884
    排名: 7311
    Apache Trafodion中国交流群
    QQ:233105278
    最新评论