- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 teradata ANSI extension-QUALIFY
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正 )假设我们有下面表，STATISTICAL_DATE、PROVINCE_CODE、 TOTAL_SCORE三列，我们希望取出来每个PROVINCE_CODE下C列最小值 对应的数据2015/9/30 | 11000000 | 80.73252015/10/31 | 11000000 | 80.6672015/
2016-02-04 17:53:13
1338
原创 python re的findall和finditer
python正则模块re中findall和finditer两者相似，但却有很大区别。 两者都可以获取所有的匹配结果，这和search方法有着很大的区别，同时不同的是一个返回list，一个返回一个MatchObject类型的iterator假设我们有这样的数据：其中数字代表电话号，xx代表邮箱类型content = '''email:12345678@163.comemail:234
2016-02-03 17:25:35
26120
2
原创 teradata EXPLAIN 读懂关键字--读懂执行计划
**(–本文是个人学习和使用过程中的总结，如有错误欢迎指正 )**对于teradata SQL级别的优化，使用EXPLAIN查看执行计划基本上是最直接也最好用的。EXPLAIN 展示出来的内容重要但同时也很多，我们只需要提取其中的关键字便可大致描述出来我么SQL的执行过程。**数据检索涉及到AMPs：** All-AMPs retrieve step, Single-AMP retrieve step等这
2016-01-24 00:51:03
2787
原创 python excel神器xlwings
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正 )最近工作需要整理将近60位同事的周报合并到一个excel中，每周都会占用的大量的时间。希望把这个工作自动化，网上看了下基本都是用vba编程实现这一功能。由于没有使用过vba，希望使用自己会的东西去实现。 我们的周报模板大致是这个样子的： 搜了下python操作excel的包，看到最多的是xlrd和xlwt。我的操作其实很简单就是拷贝每一个
2016-01-21 22:52:01
43037
4
原创 cognos Mashup 与 ECharts
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正 ) 本文只是提供了一种cognos 与其他的集成思路，现实中也许我们并不会这么做。本文主要实现了cognos已有的报表与ECharts的联动，大家都是知道cognos的图表一直在样式上被人病诟，不过10.2.1 提升了很多大部分情况下我们都会将cognos的报表和多维分析集成到我们的portal中。 1：比较常见的集成方式就是URL集成，直
2016-01-15 18:14:18
1349
原创 teradata Join策略
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正 )teradata关联可分为四种策略： 1：Merge Join(Exclusion) 2：Nested Join 3：Hash Join 4：Product Join(including Cartesian Product joins)Merge Join 比较高效的Join： 1：通常是等值(=)关联 2：关联的数据行在
2016-01-14 23:48:08
933
原创 teradata PI -- Join的影响
我们知道数据仓库是用来支撑我们的数据展现、多维度分析甚至是数据挖掘，所以单单检索一行或者几行数据在数据仓库中是几乎不存在的。 我们总是希望用多维度的视角去观察我们的数据，那我们的事实表就必须和我们N个维度表关联，以实现我们多维、多粒度的数据观察。这就要求我们的数据仓库要有强劲的处理Join的能力，幸运的是teradata在处理这方面的能力的确很强大。teradata要求我们做表关联时相同的值必须在
2016-01-14 22:02:17
1501
1
原创 Kettle REST Client生成经纬度
最近客户给了一批地域信息让生成他们的经纬度，刚开始使用python写代码生成的。正好好长时间没有用过kettle了，所以用Kettle又做了一遍先上个图： 主要用到的组件：excel输入、javascript、REST Client、Json输入、文本输出、过滤记录
2016-01-13 18:24:56
5511
8
原创 teradata PI -- 数据检索
我们知道PI对于数据分布非常重要，同样的PI对于数据的检索也起到了至关重要的作用。 teradata中数据检索最快的方式被称为one-AMP operation，而以PI列作为WHERE条件来检索都是此类型的操作，不论是UPI还是NUPI。使用PI检索数据流程图： 虽然此操作是最快检索数据的方式，但在数据仓库中该类型的操作却不多见。此处一笔带过，我们重点介绍下PI对teradata Join 的
2016-01-11 22:44:49
1301
原创 teradata PI-- 数据分布
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正)teradata Primary Index简称PI teradata 建表时强烈建议明确指定PI列(尽管不指定PI teradata会根据DBScontrol配置自动选定PI)，可以是一列或者多列，最多64列 PI主要有三个作用：数据分布（Data Distribution）快速检索数据(Fastest way to retrieve
2016-01-11 14:32:48
4669
原创 teradata DISTINCT vs GROUP BY
**(–本文是个人学习和使用过程中的总结，如有错误欢迎指正。转载请注明出处)**常听到有关teradata中DISTINCT和GROUP BY那个性能更好的问题，是应该用SELECT COLUMN GROUP BY 1还是SELECT DISTINCT COLUMN呢？为了确定什么情况用DISTINCT，什么情况用GROUP BY，首先我们应该理解两者的工作方式。**DISTINCT ：**数据会
2016-01-11 13:12:56
1455
原创 teradata体系架构简介
(–本文是个人学习和使用过程中的总结，如有错误欢迎指正)teradata是业界知名MPP架构的数据库。简单理解MPP即这样的系统由多个物理上独立的节点通过高速网络互联组成的一个相互协同工作的大规模系统。从用户角度来看，用户仅需连接上其中一个几点，但用户的任务将会被透明的分割到多个节点。teradata架构： teradata架构由三个组件构成，从上图可以看出分别为PE、BYNET和A
2016-01-10 13:06:07
10514
1
原创 teradata数据库--常用的数据字典表
teradata使用过程中我们多多少需要查看下 created objects的相关信息，对于查看表结构一句SHOW TABLE TNAME就可以完全胜任。假设我们有诸如一下的需求呢：查看那些表是FALLBACK或者NO FALLBACK统计下某库下总共有多少个view 多少个Macro 多少个Stored Procedure查询表的约束查询那些表是以XXXX列为PI的
2016-01-08 14:09:10
18279
原创 参考<<精通正则表达式>>一书对我们ETL log解析模块一个正则的优化
一句话需求：从ETL的log中提取出来一个ETL脚本落地了哪些临时表，日常数据库运维需要这些数据。经过python程序处理后，提取到了如下的信息，这些在脚本中DELETE的都是临时表。DELETE FROM DTEMP.L_SELL_PROXY_MARKETER_02 ALL;可能大家疑惑这个很简单啊，不用正则，python完全可以处理。暂且不去讨论”前人”为何选择正则去处理。
2016-01-07 18:07:17
858
原创 teradata 预先探查数据分布
teradata是一款MPP架构的数据库，数据装载到数据库的时候会被切分到不同的节点，计算数据的时候每个节点负责计算各自的数据并返回给MPL(Message Passing Layer)做最后的计算。使用teradata以来总有一个困惑，数据装载到数据库后才发现表的倾斜度不在我们规定的阀值之内(尽管从技术角度讲选择一个重复值低的字段做PI比较合理 )，特别是大表，数据倾斜影响MPP的性能。因此
2016-01-05 15:52:48
2220
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人