2017年12月_数据源的港湾

原创 Trafodion ROLLUP函数

Trafodion支持ROLLUP分析函数，ROLLUP分析函数在GROUP BY函数的基础上增加了额外的汇总信息，下面让我们通过实例来了解Trafodion中的ROLLUP与GROUP BY吧~首先，我们来创建测试表并插入测试数据，CREATE TABLE DEPART("部门" char(10),"员工" char(6),"工资" int);INSERT INTO DEPART SELECT '

2017-12-29 10:08:54 397

原创 CentOS6 在线安装PostgreSQL10

本文主要通过实际案例介绍如何在CentOS6环境中在线安装PostgreSQL10，安装环境需具备能够使用yum在线安装功能。具体安装步骤如下，1 下载对应版本的PGDG文件从https://yum.postgresql.org/repopackages.php页面找到对应的版本，这里使用https://download.postgresql.org/pub/repos/yum/10/redha

2017-12-28 11:27:09 1733

原创 CDH5.4 安装Phoenix

CDH对Phoenix的安装支持并没有像其他Hadoop组件如HBase、Impala那些可以直接从CDH Manager进行一键式安装，早期，CDH Labs提供一个CLAS_PHOENUX的parcel包，确实是可以通过CDH Manager中安装parcel的方法来安装，但版本比较老旧。CDH最新的版本中，开始有一些正式的Phoenix的parcel安装包，提供客户正式使用，支持的Phoeni

2017-12-22 10:27:46 1227 1

原创使用SQuirreL客户端工具配置连接 Phoenix

Phoenix是一款SQL on HBase的SQL引擎，它把SQL转换成HBase的get/put API查询底层的数据。Phoenix支持标准的JDBC，可以通过SQuirreL等客户端工具通过JDBC的方式连接并执行SQL语句。假设我们已经有一套现成的Phoenix集群环境，现介绍如何配置SQuirreL连接Phoenix并执行简单的SQL查询。主要步骤如下，1 通过SQuirreL工具添加D

2017-12-20 17:06:50 3975

原创 Hive表如何使用多字符分隔

一般情况下，Hive建表指定分隔符使用”row format delimited fields terminated by”语法，以下是一个最简单的例子，hive> create external table t2 (a int, b string) > row format delimited fields terminated by '|' > location '/user/h

2017-12-19 17:39:27 3311 2

原创 Trafodion 使用HBase snapshot方式迁移单表

在前面的一篇文章中，我们介绍了如何使用Trafodion自带的UNLOAD功能进行数据导出以及使用odb工具进行数据导入，合起来完成两个不同的Trafodion集群之间（即便是网络不联通情况）的单表迁移工作，详情请参考博客： http://blog.csdn.net/post_yuan/article/details/72964165然而，此种方式需要把数据先导成为文本文件（可能为压缩格式）然后再用

2017-12-18 14:01:20 2145 1

原创 Linux rm -rf删除文件不释放空间的解决办法

前几天发现在Linux系统下有一个很大的无用文件，于是用rm -rf 删除，然后用df -h查看磁盘空间，发现即使文件被删除了，但文件所占用的空间并未释放，十分疑惑，于是在网上找到了解决方案，即使用lsof | grep deleted查看占用的进程并kill相关进程。具体情况是这样，使用rm -rf 删除文件之后用df -h查看磁盘空间，发现空间未释放，/opt/test的空间使用率达到68%，而

2017-12-18 09:55:06 20606

原创 Hive on MR/Spark

在当前稍微新一点的Hadoop版本中，都支持Hive跑在Spark上，即使用Spark代替默认的MapReduce作为Hive的执行引擎，假如在已经安装配置好Spark之后，只需要简单地通过“set hive.execution.engine=spark”来切换让Hive跑在Spark之上。首先试验使用默认的MapReduce作为Hive的计算引擎，hive> select count(*) fro

2017-12-14 13:53:53 3289

原创 Trafodion 查看视图定义

Trafodion作为一款SQL on Hadoop的数据库引擎，支持标准的SQL功能，支持增删查改DML语句，也支持建表、建索引、建视图等DDL语句。本文主要介绍如何在Trafodion中创建视图，并查询视图的定义。可能大家都已经了解什么是视图，但这里我还是要稍微提一下数据库中视图的概念。视图（View）是从一个或多个表（或视图）导出的表。视图与表（有时为与视图区别，也称表为基本表——Base T

2017-12-13 11:58:05 959

原创 Trafodion建表之使用多温度特性

假如我们有这样一个场景：某个歌曲表（10亿条记录）的主键为id+ts，其中id代表歌曲ID是INT类型，ts是一个时间戳类型。用户查询有以下几种情况， 1. 查询某个id的详细信息（WHERE id=”） 2. 查询某个id在某个时间范围的详细信息（WHERE id=” and ts between and ） 3. 统计天级别的id个数（WHERE ts between and ）

2017-12-06 18:04:14 415

原创 Trafodion建表之如何定义分区个数

使用Trafodion的用户可能会经常有一个疑问，那就是在Trafodion中创建表时到底定义多少分区数是合适的？我们已经知道，Trafodion是一款SQL on Hadoop的数据库引擎，底层基于HBase，具有多节点分布式存储和计算的功能。关于分布式存储，Trafodion在建表时提供盐粒功能(SALT)可以实现数据在加载到Trafodion中均衡分布于各个节点，即把数据通过预分区的方式...

2017-12-05 16:54:54 618

数据源的港湾