2016年09月_数据源的港湾

原创 Trafodion DCS 架构介绍

什么是DCSDCS，全称Dabase Connectivity Services，是Trafodion中的分布式的，ODBC/JDBC连接组件，基于Apache ZooKeeper。DCS是一个通过Trafodion中的MSOSRVR进程来连接基于ODBC/JDBC 4 Type类型的客户端。客户端在指定端口向DcsMaster发送连接请求，DcsMaster去Zookeeper中去查找可

2016-09-30 11:03:16 2184

原创 ANSI SQL 定义

ANSI：美国国家标准化组织，是一个核准多种行业标准的组织。SQL：结构化查询语言，是与关系型数据库进行通信的标准语言，最初由IBM公司的E.F.Codd博士论文为原型开发出来的。1987年，ISO把ANSI SQL作为国际标准，这个标准在1992年进行了修订，即SQL-92，1999年两次修订即SQL-99，目前最新的是SQL-2003。ANSI-SQL由多个

2016-09-29 11:18:20 5318

原创 Trafodion Bulk Load 初试

如在文章《Trafodion 数据加载介绍》中提到，Trafodion的Bulk Load与Tricke Load不同，Bulk Load主要是针对大数据量的且一般是批量装载的方式。Bulk Load通常使用LOAD语句实现。下面介绍几种Bulk Load方式，从Trafodion表加载数据从HDFS文件加载数据（Hive外部表）从Hive表加载数据从外部数据库加载数据（Sqoop t

2016-09-28 17:58:01 1476

原创 Trafodion Trickle Load 之 odb Load/Extract/Copy命令用法

（注：以下只是初步介绍Trafodion odb工具的几个主要命令的基本用法，更多用法及适用场景请见下载官方文档点击打开链接查看详情）Load语法-l src=[-]file:tgt=table[:map=mapfile][:fs=fieldsep][:rs=recsep][:soe][:skip=linestoskip][:ns=nullstring][:ec=esc...

2016-09-26 17:52:59 1211

原创 Trafodion 数据加载介绍

Trafodion 的数据加载主要包括两种方法，即 Trickle Load 和 Bulk Load。下表介绍了两种加载方法的区别，类型描述方法/工具Trickle Load数据量较小立即插入ODB 工具自主开发的ODBC/JDBC应用Bulk Load数据量较大阶段性数据并且是

2016-09-23 23:54:34 1375

原创 Windows环境安装Trafodion客户端

（注：针对开源的Trafodion,Windows下面目前只支持JDBC版本的Trafodion客户端，ODBC版本的客户端仅限于EsgynDB商业版本） TrafCI安装（JDBC）1 确保Windows环境已经有可用的JDK，可以通过以下方式检查JDK安装成功，若JDK未正常安装，请先安装JDK并正确配置环境变量，此处不作详细说明。 2 下载Trafodion客户端安装...

2016-09-23 10:29:45 2086 2

原创 Trafodion 客户端

Trafodion 客户端主要分为两类，即JDBC-Based和ODBC-Based，JDBC-BasedDriver Trafodion JDBC Type 4 Driver --- 用于将外部应用（Java应用）连接到Trafodion数据库。Tool Trafodion Command Interface(TrafCI) --- 命令行工具，允许通过命令连

2016-09-22 18:56:40 1583 3

原创数据仓库相关术语

Data Lake可以存放海量原始数据的数据湖，和传统的数据仓库对应。数据仓库中的数据是经过加工的结构化数据，往往是有分类的，可以使用传统数据库进行存储；数据湖存储非加工数据，比如日志、视频等，以后结构化数据，并且不分类，没有为了特定程序进行设计和加工。BI/Analytic Database为商业智能和分析而优化的数据处理技术。包括数据清理，ETL，数据挖掘等。生产报表，也支持a

2016-09-21 18:43:12 1210

原创 OLTP vs OLAP

OLTP联机事务处理（On-line Transaction Processing）主要执行基本的、日常的事务处理，如数据库的增删改查，如银行交易。特点：1 实时性要求高2 数据量一般不是很大3 交易一般是确定的，OLTP一般对确定性的数据进行存取4 并发性要求高并且严格地要求事务的安全性、完整性OLAP联机分析处理（On-line Analytical Pro

2016-09-17 23:20:41 786

原创 Oracle ROWID理解

什么是ROWID?ROWID是Oracle数据库中行的全局唯一地址，通过ROWID可以快速定位某行的具体数据位置。可以使用SELECT语句查看行的ROWID，但不能使用INSERT/UPDATE/DELETE去修改或者删除ROWID.ROWID格式ROWID主要包括信息如下，数据对象编号（6位显示）数据文件编号（3位显示）数据块编号（6位显示）数据块中行编号（3位显

2016-09-11 15:00:39 1329

原创 Postgresql行列转换

环境Postgresql 9.4.4列转行1 查询测试表数据cqdb=> select * from test ; name------ AA BB CC(3 rows)2 列转行（string_agg）cqdb=> select string_agg(name,',') from test; string_agg------------ AA,BB,

2016-09-07 22:34:57 25161 2

原创 Postgresql删除重复数据

2016-09-07 15:39:03 2418

原创 Linux Find 命令

语法find path -option [-print] [-exec -ok command] {} \;# -print 将查找的文件输出到标准输出# -exec command {} \; 将查到的文件执行command操作# -ok和-exec相同，只不过在操作前要询问用户[root@pa-dev-47 ~]# find . -name *.py -exec ls -l

2016-09-06 12:43:11 451

原创 IaaS vs PaaS vs SaaS

什么是云计算？“云”是互联网的一个比喻。“云计算”其实就是使用互联网来接入存储或运行在远端服务器上的应用、数据或者服务。云分层结构云计算分为几层，主要包括IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)。IaaS处于最底层，PaaS处于中间层，SaaS处于最上层，IaaS全称Infrastructure-as-a-service（基础设施即服务），

2016-09-04 12:03:31 893

原创 InfluxDB 初探

安装1 下载influxdb-0.13.0.x86_64.rpmwget https://dl.influxdata.com/influxdb/releases/influxdb-0.13.0.x86_64.rpm2 安装influxdb-0.13.0.x86_64.rpm3 检查安装是否成功

2016-09-02 21:59:50 4238

原创 ODS 介绍

ODS 概念ODS是一个面向主题的、集成的、可变的、反映当前细节的数据集合。它主要用于支持企业处理业务应用和存储面向主题的、即时性的集成数据，为企业决策者提供当前细节性的数据，通常作为数据仓库的过渡阶段。ODS 特点1 数据不断更新和易丢失，不存储历史数据，只反映当前实时性的信息2 存储细节性数据，很少有汇总数据3 支持快速的更新操作，数据刷新频率快4 ODS一般存

2016-09-02 10:45:32 9971

原创 Kafka对比其他MQ

与其他MQ相比较，Kafka有一些优缺点，主要如下，优点：可扩展。Kafka集群可以透明的扩展，增加新的服务器进集群。高性能。Kafka性能远超过传统的ActiveMQ、RabbitMQ等，Kafka支持Batch操作。容错性。Kafka每个Partition数据会复制到几台服务器，当某个Broker失效时，Zookeeper将通知生产者和消费者从而使用其他的Broker。

2016-09-01 23:31:32 6731 1

数据源的港湾