数据库
文章平均质量分 81
幸运六叶草
个人公众号:“Python技术博文”;关注人工智能,热衷学习IT新技术。
展开
-
SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集
SQL UNION 操作符UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意,UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每条 SELECT 语句中的列的顺序必须相同。SQL UNION 语法SELECT column_name(s) FROM table_name1UNIONSELECT colu转载 2016-07-22 13:11:23 · 4654 阅读 · 0 评论 -
SQL grouping sets 子句
grouping sets子句允许你指定多个group by 选项。增强了group by 的功能。可以通过一条select 语句实现复杂繁琐的多条select 语句的查询。并且更加的高效,解析存储一条SQL于语句。下面通过使用grouping sets 子句与没有使用grouping sets 子句来对比学习该子句。查询每个部门的每类工作的平均工资,使用grouping sets转载 2016-10-19 10:53:02 · 1416 阅读 · 0 评论 -
Oracle Partition 分区详细总结
表分区http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843393.htmlhttp://wenku.baidu.com/link?url=SE-XAChaTsqht6ddSHI57dV4FfD0pL4h_pXt9vXxU5sA71CkAqihtbzdRuDWexNfv8rvYXs9rv17C8O5g_jK6VrbGVqoJetQb转载 2016-10-18 13:43:30 · 1017 阅读 · 0 评论 -
hive的使用经验
优化时,把hive sql 当做map reduce程序来读,会有意想不到的惊喜。理解hadoop的核心能力,是hive优化的根本。长期观察hadoop处理数据的过程,有几个显著的特征:1:不怕数据多,就怕数据倾斜2:对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,没半小时是跑不完的。map reduce初始化的时转载 2016-08-04 20:33:58 · 1677 阅读 · 0 评论 -
数据仓库增量数据获取方法谈
我们通常所说的增量数据,其实更确切的说,应该是变量数据,包括对数据的增加、修改和删除。特别是当有些系统存在物理删除数据的情况时,这一点尤为重要。 从各源系统获取增量数据,是DW/BI类相关应用所必需的环节,那么从源系统获取增量数据的方式究竟有哪些呢?哪些又是我们经常使用的呢?下面我们就来简单介绍介绍: 这第一种可以是由源系统在数据处理过程当中由应用程序直转载 2016-07-29 11:16:53 · 4218 阅读 · 0 评论 -
ETL中的数据增量抽取机制
增量抽取是数据仓库ETL(extraction,transformation,loading,数据的抽取、转换和装载)实施过程中需要重点考虑的问题。在ETL过程中,增量更新的效率和可行性是决定ETL实施成败的关键问题之一,ETL中的增量更新机制比较复杂,采用何种机制往往取决于源数据系统的类型以及对增量更新性能的要求。1 ETL概述ETL包括数据的抽取、转换、加载。①数据抽取:从源数据源系统转载 2016-07-29 11:15:14 · 5716 阅读 · 0 评论 -
Oracle CASE WHEN 用法介绍
Oracle CASE WHEN 用法介绍1. CASE WHEN 表达式有两种形式--简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END --Case搜索函数 CASEWHEN sex = '1' THEN '男' WHEN sex = '2' THEN转载 2016-07-29 09:24:25 · 2137 阅读 · 0 评论 -
sql 语句NVL()用法
一NVL函数是一个空值转换函数NVL(表达式1,表达式2)如果表达式1为空值,NVL返回值为表达式2的值,否则返回表达式1的值。 该函数的目的是把一个空值(null)转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型: NVL( comm,0);对字符型 NVL( TO_CHAR(comm), '转载 2016-07-29 09:23:24 · 94174 阅读 · 0 评论 -
SQL中的left outer join,inner join,right outer join用法详解
这两天,在研究SQL语法中的inner join多表查询语法的用法,通过学习,发现一个SQL命令,竟然涉及到很多线性代数方面的知识,现将这些知识系统地记录如下: 使用关系代数合并数据1 关系代数合并数据集合的理论基础是关系代数,它是由E.F.Codd于1970年提出的。在关系代数的形式化语言中:? 用表、或者数据集合表示关系或者实体。?转载 2016-07-26 17:27:55 · 1879 阅读 · 0 评论 -
hive join 数据倾斜 真实案例
Hive或者MR处理数据,不怕数据量大,就怕倾斜。hive里大表join的时候,数据倾斜就是个很头疼的问题。本博主就遇到了一个真实案例,特意记录下来,有需要的同学可以参考1.查了5个小时还没结束的sql语句set mapred.reduce.tasks = 30;insert overwrite directory 'xxx'selectcus.idA,cus.name,addr转载 2017-03-19 22:36:44 · 1430 阅读 · 0 评论