- 博客(16)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 数据仓库增量数据获取方法谈
我们通常所说的增量数据，其实更确切的说，应该是变量数据，包括对数据的增加、修改和删除。特别是当有些系统存在物理删除数据的情况时，这一点尤为重要。 从各源系统获取增量数据，是DW/BI类相关应用所必需的环节，那么从源系统获取增量数据的方式究竟有哪些呢？哪些又是我们经常使用的呢？下面我们就来简单介绍介绍： 这第一种可以是由源系统在数据处理过程当中由应用程序直
2016-07-29 11:16:53
4217
转载 ETL中的数据增量抽取机制
增量抽取是数据仓库ETL(extraction，transformation，loading，数据的抽取、转换和装载)实施过程中需要重点考虑的问题。在ETL过程中，增量更新的效率和可行性是决定ETL实施成败的关键问题之一，ETL中的增量更新机制比较复杂，采用何种机制往往取决于源数据系统的类型以及对增量更新性能的要求。1 ETL概述ETL包括数据的抽取、转换、加载。①数据抽取：从源数据源系统
2016-07-29 11:15:14
5712
转载 Oracle CASE WHEN 用法介绍
Oracle CASE WHEN 用法介绍1. CASE WHEN 表达式有两种形式--简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END --Case搜索函数 CASEWHEN sex = '1' THEN '男' WHEN sex = '2' THEN
2016-07-29 09:24:25
2131
转载 sql 语句NVL（）用法
一NVL函数是一个空值转换函数NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型： NVL（ comm,0);对字符型 NVL( TO_CHAR(comm), '
2016-07-29 09:23:24
94052
转载 SQL中的left outer join,inner join,right outer join用法详解
这两天，在研究SQL语法中的inner join多表查询语法的用法，通过学习，发现一个SQL命令，竟然涉及到很多线性代数方面的知识，现将这些知识系统地记录如下： 使用关系代数合并数据1 关系代数合并数据集合的理论基础是关系代数，它是由E.F.Codd于1970年提出的。在关系代数的形式化语言中：? 用表、或者数据集合表示关系或者实体。?
2016-07-26 17:27:55
1879
原创 hive中alter table的用法详解
ALTER TABLE 语句2011-07-22 11:02ALTER TABLE 语句用于在已有的表中添加、修改或删除列。1 . ALTER TABLE table_name ADD column_name datatype2. ALTER TABLE table_name DROP COLUMN column_name3. ALTER TAB
2016-07-26 15:07:59
45937
1
转载 使用sh -x调试shell脚本
使用sh -x调试shell脚本通过1.加入echo或者使用2.-x选项,轻松跟踪调试shell脚本[以下字段转自：http://linux.chinaitlab.com/SHELL/727128_4.html]"-x"选项可用来跟踪脚本的执行，是调试shell脚本的强有力工具。“-x”选项使shell在执行脚本的过程中把它实际执行的每一个命令行显示出来，并且在行首显示
2016-07-26 14:49:14
6363
转载 hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql
2016-07-25 14:26:04
678
转载 在eclipse中安装python的插件
方法一： 将plugins目录下所有文件挪到Eclipse的相应目录下，将feature目录下所有文件挪到Eclipse的相应目录下，最后启动Eclipse，在Help－》Software Upates－》Manage Configuration，然后弹出的界面即可看到pydev的插件。在安装 PyDev 之前，要保证您已经安装了 Java 1.4 或更高版本、Eclipse 以
2016-07-23 11:22:07
3069
转载 SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集
SQL UNION 操作符UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。SQL UNION 语法SELECT column_name(s) FROM table_name1UNIONSELECT colu
2016-07-22 13:11:23
4654
原创 将两个表的结果合并为一个表并过滤掉相同字段的信息
--如果两表有关键字select a1,a2,b1,b2 from a , b where a.关键字 = b.关键字--如果两表没有关键字,这样?select a1 , a2 from aunion allselect b1 , b2 from b上为查询,如果需要生成一个新表--如果两表有关键字select a1,a2,b1,b2 into tm
2016-07-22 12:37:59
11329
原创 数据库中sum和count的区别
今天在hive上面写了一个HQL，当时业务需求是查询出计算出订单的总数，当时我没有多想就直接写了：select count(ord) from ord_day where ..然而数据对不上，我才意识到count 是数个数， sum 是求和啊。他们不一样。所以我换成sum结果就出来了；下面结合自己的理解总结一下：sum()函数和count()函数的区别：
2016-07-21 17:31:47
20026
1
转载 hive分区
参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTable%2FPartitionStatements这里主要列一些常用操作。 添加分区ALTER TABLE table_name ADD PARTITION (partCol
2016-07-21 12:50:38
459
转载 Hadoop1.x与Hadoop2的区别
Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资
2016-07-11 17:50:24
511
原创 MapReduce实现分区详细过程
1.实现分区的步骤： 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字 1.4在main方法中设置Partioner的类
2016-07-09 19:31:26
3852
转载 解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题
解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题，ljavalangstring一．简介 Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.
2016-07-01 07:55:10
1273
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人