Database&ETL&BI
文章平均质量分 54
textboy
专注于技术与管理并行发展
展开
-
Oracle XE Installation in Linux CentOS
在Linux CentOS 6.3环境下安装Oracle XE 11,有点折腾,特意记下来供大家参考。 1. Preparation 下载所需的安装文件,其中,oracle xe可以到oracle官网免费下载,速度还算可以(需要在oracle注册一个账号)。 oracle-xe-11.2.0-1.0.x86_64.rpm.zip 安装前还需准备一些必备包,如: lib原创 2014-12-23 13:54:06 · 1612 阅读 · 0 评论 -
sql实现oracle分析函数功能 over partition by
oracle、hive都比较好支持分析函数(如sum() over partition by),db2就一般,mysql、sqlite直接就不支持。 因此有必要学会用SQL实现分析函数。 sum() over partition by在Mysql中的替代方法(不适合sqlite因为其不支持本地变量定义) SET @txn_amt_sum=0; SELECT A.AGT_NUM, A.AG原创 2016-04-12 15:12:34 · 2200 阅读 · 0 评论 -
SQLite3使用
下载 http://www.sqlite.org/download.html (如sqlite-tools-win32-x86-3120100.zip) 查看环境变量 .show CREATE Database http://www.tutorialspoint.com/sqlite/sqlite_create_database.htm 查看Database .dat原创 2016-04-11 18:35:33 · 524 阅读 · 0 评论 -
Java适合用于ETL?
突发奇想,能不能把异步响应式编程的rxJava(主要用于Android开发)应用于ETL,想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等,感觉有点像SQL。 实际试验后,原来rxJava还是比较适合于处理事件流而不是ETL,原因是rxJava缺乏data原创 2016-06-30 15:50:02 · 4276 阅读 · 0 评论 -
Mysql存储引擎比较
StorageEngines Feature Summary Feature MyISAM Memory InnoDB Archive NDB Storagelimits 256TB RAM 64TB None转载 2016-09-02 10:53:34 · 384 阅读 · 0 评论 -
PostgreSQL XL Installation Guide
Host1 Host2 全局配置 vi /etc/profile export PGHOME=/appl/postgres-xl-9.5r1.4 export PGUSER=pgxl export LD_LIBRARY_PATH=$PGHOME/lib export PATH=$PATH:$PGHOME/bin source /etc/profile原创 2017-01-11 15:31:47 · 1767 阅读 · 0 评论 -
MySQL Cluster (NDB) Installation Guide
Architecture http://www.cnblogs.com/shihaiming/p/6084965.html Guide https://dev.mysql.com/doc/refman/5.7/en/mysql-cluster-installation.html http://www.cnblogs.com/ziqang/p/6108176.html http:/原创 2017-06-14 18:17:10 · 1239 阅读 · 0 评论 -
mysql installation guide (windows)
find cmd icon, right click, run as administrator -- my.ini [mysqld] skip-grant-tables character_set_server=utf8 basedir=C:\mk\program\mysql-5.7.14-winx64 datadir=C:\mk\program\mysql-5.7.14-win原创 2017-08-26 12:10:04 · 510 阅读 · 0 评论 -
Tableau 10.3 简单Dashboard创建
Report这东西是有图有真相的典型例子,直接上图说明。 1、引入数据源 2、类型设定 3、前期数据源过滤(if required) 4、进入Dashboard edit mode 5、Dimension 和 Measure 可以相互转换 (Dimension对应x/y轴维度,Measure用于实际值展示) 6、选择对应Dashboard的图原创 2017-09-08 12:03:32 · 6452 阅读 · 0 评论 -
MySQL Memory 存储引擎
传统关系型数据库Mysql其实也可以实现关系型内存式数据库(如sqlite)的内存处理功能! CREATE TABLE t (i INT) ENGINE = MEMORY; select ... DROP TABLE test; MySQL Memory 存储引擎浅析 http://www.jb51.net/article/29039.htm mysql memory engine原创 2016-04-12 15:18:23 · 538 阅读 · 0 评论 -
ETL开源工具kettle的基本使用
下载 http://community.pentaho.com/projects/data-integration/,size比datastage小多了 安装配置 如果JDK老早配置好的话,基本上是不用配置的,也不存在安装(本来就是绿色版,好啊~)。点击Spoon.bat 就打开了。 连接数据库(以MySQL为例) (1)mysql驱动包(mysql-conn原创 2015-10-11 16:33:35 · 1791 阅读 · 0 评论 -
SQL连接的基本划分
多表连接从连接解释来说一般可以分为:NEXT LOOP、SORT MERGE、HASH JOIN。 NEST LOOP: 驱动表Driving Table,被驱动表Driven Table。驱动表做一次遍历,被驱动表做多次遍历。不需要排序。可以使用非等值连接。 SORT MERGE: 每个表都要先排序,然后进行合并。排序首先在内存中进行,能在内存中完成的叫做Optimal Sort(In-原创 2014-12-07 10:16:31 · 508 阅读 · 0 评论 -
异构数据库连接:PostgreSQL调用Oracle
oracle_fdw已经有较为正式的版本(oracle_fdw-1.1.0),分别试验了本地PG连接到local windows oracle和本地PG连接到remote linux oracle(10.0.0.234)场景,select/insert/update/delete以及各种join/limit/order by等语句都可以很好的支持。 1、Install Oracle原创 2014-12-29 10:04:01 · 2227 阅读 · 0 评论 -
ER/Studio知识汇总
一、关系 网上找了一下,大部分说得不太清楚,我在这里举上个例子。注意,这里的关系是逻辑上的,并非表结构也要如此。 1. 标识关系identifying relationship 意思:子实体的主键包含父实体的外键(可能成为复合主键compound keys) The primary key attributes of the parentbecome primary key原创 2015-06-27 16:25:43 · 1341 阅读 · 0 评论 -
数据建模
一、数据仓库建模架构 1、业务/领域/主题层(domain / conceptual),业务分解、领域抽象 2、逻辑层(logical / object),实体化、对象化 3、物理层(physical),数据库化 二、各层展开 1、业务/领域/主题层 1.1 建模方法 实体建模(实体、事件和说明),IBM - BDWM(Banking data warehouse model)原创 2015-06-24 18:14:46 · 1308 阅读 · 0 评论 -
BI - Cube概念
cube模型例子,from http://www.zhihu.com/question/19955124 基本cube模型 上卷(Roll-up)、下钻(Drill-down)、切片(Slice)、切块(Dice)、旋转(Pivot)转载 2015-06-02 15:05:57 · 1668 阅读 · 0 评论 -
MySQL导入中文乱码解决之道
数据库中文乱码一直是烦人的问题,网上解决方法很多,但各有出入,而且有人灵有人不灵。对于MySQL,我的解决方法如下: 1)改MySQL配置: 如:D:\Program Files\MySQL\MySQL Server 5.6\my.ini(copy from my-default.ini) [mysql] default-character-set = utf8 2)进入MyS原创 2015-09-13 10:50:09 · 6243 阅读 · 1 评论 -
用SQL实现Oracle中的分析函数功能
# 对应oracle中row_number() over(),即分组排序,在MySQL中的例子: # 基于mobile_no分组,于分组中基于process_dt排序 SET @rn=0; SET @last_mobile_no=-1; SELECT *, IF(@last_mobile_no = mobile_no, @rn := @rn + 1, @rn := 1) AS rn, @原创 2015-10-07 17:52:35 · 677 阅读 · 0 评论 -
数据库基础问答Q&A
三范式 1NF:原子性,字段不可分; 2NF:唯一性,有主键,非主键字段依赖主键; 3NF:每列都与主键有直接关系,不存在传递依赖,非主键字段不能相互依赖; 例子: 1NF:(关系数据库中create不出这样的表) 2NF:无主键,存在问题:插入异常。 3NF: 学生表:学号, 姓名, 所在学院, 学院电话,关键字"学号"; 存在依赖传递: (学号) → (所在学院) →原创 2015-10-10 11:45:59 · 751 阅读 · 0 评论 -
IBM Cognos 11 简单Dashboard创建
相对Tableau,Cognos的长项在于稳定性、Framework、report这些领域,dashboard相对是其弱项。 1、上传数据源 2、在My content 找到上传的数据 3、点 “编辑” 按键,切换到编辑菜单 4、可以通过下图按钮切换组件位置摆放template 5、正上方可以切换工作区域 6、右上解Properties 按钮打开原创 2017-09-08 12:21:13 · 1754 阅读 · 0 评论