- 博客(68)
- 收藏
- 关注
RSS订阅转载 算法题，容器盛水
前几天看到阿里数据公众号有个技术题， 刚一开始以为结束了，一问还有最后一天，刚开始本想用sql来解答了，因为工作中，很难碰到烧脑的内容，不锻炼锻炼自己怕脑子不够使， 当时感觉比较容易，但sql想了下一些公用变量的东西不好弄，因此...
2017-08-21 09:09:04
241
转载 数仓体会之（布署升级脚本与文档）
在项目现场，经常看到运维人员对一些布署升级文档的理解不到位而导致在这过程中出现很多问题，运维人员觉得文档写的不够清楚，操作流程不够详细，而编写文档的研发人员则抱怨运维人员技术水平不够，基本技能不够等等，在此，本着解决问题的...
2017-06-05 14:25:04
245
转载 数仓体会之（分区与索引）
--------------------有些坑，我早已跳过，但，槽跳了，坑也要继续跳 ，在此记录些工作的杂七八的事此内容限于oracle数据库进行讨论。 针对目前个人在实施数据仓库中，发现索引及分区基本上...
2017-06-05 14:22:32
637
转载 mysql的sql排名
一直感觉oracle分析函数强大，总觉得mysql中缺少太多类似函数， 但发现，mysql中引入sql中的变量，使得sql可能非常的灵活，这几天做一个排名的内容，当1，2，3名成绩相等时，他们都是第二名， 当第4，5名相...
2017-04-09 20:55:37
158
转载 2016年的小结
2016对我来说是比较特殊的一年，08年前从南昌转战北京，而八年后又从北京回到南昌，彷徨、纠结、不甘心等等因素，但最终还是回了南昌。入职xx已有四个来月，在此作个简短总结。 1，江西企业所得税管理系统遗留问题的...
2017-04-09 20:43:58
77
转载 utl_http.req 使用
由于应用使用缓存，当晚上数据加工后，可能第二天查看的数据还是缓存中的数据，由于通过设置缓存时间周期不好掌握，因此决定在oracle中跑完数据后调用一个清理缓存的url进行强制清缓存，存储过程大概这个样子creat...
2017-01-12 16:02:52
313
转载 我的思维杂货铺
---这里没有附加的子标题 1,javaBean的生成 大概时间：2005年， 场景：很多时候数据转对象是一个常见的操作， 过程：可以解析数据库中的表结构...
2016-05-16 09:06:54
102
转载 曾经我给领导的一封信
今天翻开电脑，无意间发现这个，创建时间是 2013/8/29，时间总是过的太快。不得不说，骏彩是我呆过最舒服的一个公司，不是说里面的轻松，而是做事方式的严谨，让做技术的人踏实，虽然离开了，在此还是祝曾经的小伙伴们都开心快乐。...
2016-05-14 17:48:41
202
转载 Spark商品关联推荐
数据如下 1001 1,2,3 1002 1,2 1003 1,3 1004 1,4 1005 4 说明：第一个字段代表一个用户， 后...
2016-05-06 14:51:55
292
转载 oracle中listagg在spark中mr的实现
Listagg 有以下数据（设定为表t,字段分别为a,baabc6aacd2aaf3bbb4bbd5bbe1 针对sql...
2016-04-28 18:15:15
461
转载 第3届SQL编程大赛思路
由ITPUB社区举办的第3届“盛拓传媒杯”SQL数据库编程大赛日前落下帷幕，这是一个很好的活动，SQL比赛一般都为一个sql来完成，这不只是要求一个人的sql水平，个人思维、算法，以及逻辑推理也十分重要，当通过你的思...
2016-01-17 08:54:25
340
转载 棋手的概率问题
这是 PUZZLEUP 2014 的15题 ，ITPUB的oracle开发版有一专门的帖子There are 24 players in a chess tournament. 8 teams participated w...
2014-11-15 21:41:46
201
转载 oracle 多列unpivot及unpivot 使用
这是一个复杂的例子，想对它有一个深入的使用，那仔细看看吧 点击(此处)折叠或打开 create table TT_TEST2 ...
2014-06-05 08:50:55
612
转载 瘦化拉链表
由于前期分析不到位，导致缓慢变化维表增长速度过快，影响查询性能，分析发现只是由于一些无关紧要的字段变化产生此类数据，因此，要实现拉链表的瘦化，例如，有一个表tb_aa(pk_id,a,b,c,d,e,start_date...
2014-03-27 17:29:06
131
转载 手写数据数字识别
题目看这里，http://f.dataguru.cn/group-125-1.html 一个很有意思的竞赛题，由于本人R语言半途而废了，因此，用java来进行的识别。最后结果，只能识别六成左右。而R语言采...
2014-02-12 19:53:51
117
转载 数据抽取程序
由于工作中经常要清库、导数据，且还要两数据库同时对比进行，因此，花点小时间写了个数据库与数据库，数据与文件之间迁移的工具，配件简单，以excel为模板，个人感觉还是比较方便的，oracle及sql serve...
2013-09-11 22:19:53
255
转载 shell电子显示屏
今天闲着没事，就不知怎么想着写一个类似电子显示屏的跑马灯效果，目前实现，先由java把输入的字符串转为点阵数组，存于一文件，后shell读此文件，每隔0.1秒刷新显示，shell也就几行代码.......下载地址http...
2013-09-11 14:28:05
120
转载 彩票数据分析
目标：（官话）彩票分析目标只是想健康有效的长期发展彩票事业，希望参与的人广而平均投入的金额少，不影响社会的和谐发展。说白了，就是国家以一种方式收钱，但让大家别因为此跳楼抱怨之类的，自愿方式手段：1，发现数据的背后的一些潜...
2013-05-24 21:17:21
2058
转载 润乾报表api调用oracle存储过程的数据集
api调用的时候，无非就是设置调用的数据库连接， 但是，当数据集为存储过程返回的游标时，Connection conn= ConnectionUtil.currentConnection("bis"); ...
2013-05-21 13:36:58
229
转载 oracle存储过程中游标替代方案
前言在sql server转oracle存储过程改造中， 由于返回数据集操作比较频繁，针对效率及改造工作量寻求一较好的方式目前做法代码片段： OPEN countrycursor FOR SE...
2013-05-21 13:24:00
890
转载 存储过程调度框架
很早开发的一个调度程序，，在此做个介绍，希望有些用处 概述：由于存储过程执行，需要统一管理及调度，为实现调试策略及日志处理等情况，特制定一简单有效的调试程序。 1.1 调度元数据 ...
2013-05-16 20:15:18
424
转载 Sql server至oracle历史数据迁移
目标：新系统上线时需要老系统中的数据，把老数据库中数据按新数据库的要求转入新数据库中。且要求此过程尽量短，保证新老系统切换满足要求。分析：必须做的事情整理出新系统中表对应老系统的sql,辅助事情1，为...
2013-05-15 17:31:36
119
转载 维度建模培训随笔
数据仓库是从大的数据中获取一些宏观指标，为决策提供支持报表，一个报表的作用是确定后期的工作， 明白事，分析事，数据仓库是对系统建设的一种推动，可以发现原系统问题，规范各系统之间的数据定义及内容。举例：维度冗余，体系要一致，原始底...
2013-05-15 15:03:31
61
转载 bat脚本-找出某时间点修改的数据
由于有时候要找出众多文件基于一时间点后修改的文件，可记录，也可用于path作用，@echo off rem 把修改的文件放入pathstr中set pathstr=D:\PATH\20120422rem 找出paraT...
2013-05-15 14:52:59
190
转载 数据仓库杂谈
http://tech.it168.com/oldarticle/2007-05-22/200705220939875.shtml ...
2013-05-15 14:51:55
62
转载 oracle之pl/sql之矩阵求逆
矩阵求逆网上也有很多java及C程序，由于帮朋友写一小程序其中要用到矩阵求逆，本打算通过ORACLE直接调用外部C++程序实现，但想想不如直接用pl/sql实现，TYPE ONE_array_type IS TA...
2012-06-09 08:43:53
333
转载 ORACLE之表数据导出
有时候会有一些需求，把ORACLE库中一些表进行导出，当然，这有很多种方法，在此我说的是用UTL_FILE来实现ORACLE存储过程数据导出， 可以实现通过一个配制表，配制要导出的表名，及一些增量导出条件等，不废话，直接程序...
2012-06-08 19:03:20
212
转载 数据仓库处理工作随笔
原项目型数据仓库的一些随笔。。。。一,简化业务需求的复杂度。 1，粒度尽量粗（特别是时间维），能月统计尽量别精确到时间。 2，同一展现分析中，时间维尽量单一，多个时间角度统一将难使数据聚合，查询效率差。 3，估算展现分...
2012-05-08 23:02:06
94
转载 kettle之------ 多表数据复制
原地址 kettle之------ 多表数据复制 › 需求：把A库中N个表抽取至B库中，表结构相同或只是增加统一的一些字段， 过滤条件基本类似。解决方法：我们把以上内容在解决问题上拆分为二步，1，从一配制表中读出相应的表名及...
2012-04-05 15:43:35
358
转载 数据仓库工作记录1
具体需求当确定或审核一个具体需求时，我们应考虑以下几个问题确定需求中各指标的口径统计及大致数据来源考虑以怎样的粒度模型来支撑此需求估算此需求展现时所涉及要获取的数据量及最终展现的数据量考虑查询时所...
2012-03-08 22:14:36
51
转载 十周年寄语----我和ITPUB的那点事
结识itpub于2004年，记得当时大学刚毕业，在一IT公司做程序员，当时写的存储过程游标一层套那么一层啊，那个慢啊，于是乎一天晚上，我们一个副总裁，据说原来还是在oracle搞技术的，然后他跟着我们帮我们调优，完后，他发了几个...
2011-10-27 11:22:54
58
转载 goldengate web程序
java web程序，http://www.itpub.net/forum.php?mod=viewthread&tid=1494729 ...
2011-09-23 11:24:47
90
转载 数据仓库之基础数据层建模杂记
（个人意见：）1，有可对应原系统数据的标识（最好确定与业务无关的唯一主键）。2，有数据的生成时间字段（确定增量的有效方法）。3，尽量采用第三范式（尽量清除数据的二异性）。4，有能够确定分区的字段。5，原系统表间关联辅助字段应保留...
2011-05-10 09:21:55
191
转载 并行框架考虑
考虑前，更出常见的要求点1， 确定可并行执行的原子的基本条件、书写规范2， 确定并行处理的方式（如：根据什么并行）3， 并行执行错误处理及重新调度的考虑4， 不同类型原子接口统一化考虑5， 日志...
2011-05-05 09:17:46
51
转载 个人工作_kettle之插件开发
KETTLE插件介绍注：此部分插件为kettle中的job插件GoldenGate命令插件GoldenGate此插件命令主要包括启动与停止，由于是job插件，因此，返回内容只有成功与失败标志，此插件中涉及的Gol...
2011-05-03 15:36:18
176
转载 物化视图归档结合goldengate增量抽取测试用例
物化视图归档结合goldengate增量抽取测试用例测试表：DJ_YZCWSBQC简称表 td环境介绍 ：分为三个库 A 生产环境，字符集，西文 B 物化视图区（归档） 字符集，西文 C 抽取准备区目标： 在c...
2011-03-10 14:55:44
124
转载 xml的数据存储（oracle）
blog是越来越不想更新了，好像天天没什么新得，加之好的东西真是难写，天天做的事也只是一些重复琐碎之事，感觉没有记录的必要。但，人总是要做些事情，很多时候，简简单单才是真嘛，今天就补上一篇，技术含量不高，只是一思考问题的思路而以...
2008-01-12 00:00:00
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人