自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据工匠-PowerData

一个关于数据仓库/商业智能,大数据/云计算和移动互联网的博客

  • 博客(50)
  • 资源 (1)
  • 收藏
  • 关注

原创 Android RecyclerView

mAdapter.setRecommendFrontVO(result);mRecyclerView.setAdapter(mAdapter);mAdapter.notifyDataSetChanged();lastVisibleItem =((LinearLayoutManager) mRecyclerView.getLayoutManager

2015-07-28 15:53:01 379

原创 Android的ActivityGroup与Fragment

ActivityGroup/** * 供开发者在实现类中调用,能将Activity容器内的Activity移除,再将指定的某个Activity加入 * * @param activityName 加载的Activity在localActivityManager中的名字 * @param activityClassTye 要加载Activity的类型 */protecte

2015-07-28 15:51:10 392

转载 数据挖掘与数据建模的9大定律

数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程,这种知识是以自然或者人工形式创造的新知识。当前的数据挖掘形式,是在20世纪90年代实践领域诞生的,是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非 理论,在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM,逐渐成为数据挖掘过程的一种标准化过程,被越来越多的数据挖

2013-11-24 19:53:37 1034

原创 数据仓库的元数据管理

影响分析能力,血统分析可快速追溯数据来源和加工过程;影响分析可掌握元数据之间的相互影响;活力分析快速掌握数据实体之间的关系程度。

2013-11-10 12:53:03 7209

原创 IT业界有名的几大定律

1. 摩尔定理(Moore’s Law)英特尔公司的创始人戈登 摩尔(Gordon Moore)博士。早在 1965 年,他就提出,在至少十年内,集成电路的集成度会每两年翻一番。后来,大家把这个周期缩短到十八个月。现在,每十八个月,计算机等 IT 产品的性能会翻一番;或者说相同性能的计算机等 IT 产品,每十八个月价钱会降一半。 2. 安迪-比尔定理 (Andy and Bill’s

2013-11-02 19:57:02 1486

转载 iOS view和viewController的生命周期

http://blog.sina.com.cn/s/blog_801997310101a39w.html一、ViewController的职责对内管理与之关联的View,对外跟其他ViewController通信和协调。对于与之关联的View,ViewController总是在需要的时候才加载视图,并在不需要的时候卸载视图,所以也同时担当了管理应用资源的责任

2013-09-02 18:41:16 434

转载 iOS ARC机制 weak strong

http://blog.sina.com.cn/s/blog_801997310101a72g.html写在开头虽然距离WWDC2011和iOS 5已经快一年时间,但是很多开发者并没有利用新方法来提高自己的水平,这点在ARC的使用上非常明显(特别是国内,基本很少见到同行转向ARC)。我曾经询问过一些同行为什么不转向使用ARC,很多人的回答是担心内存管理不受自己控制.

2013-09-02 18:22:41 478

原创 Java的一些概念和例子

多态(Polymorphism)面向对象的三大特性:封装Encapsulation(getter,setter)和继承Inheritance(extend, override, overwrite)很容易理解,但多态(Polymorphism)比较难理解,难不在形式,而是它的用处在哪里。下面举个例:class Wine { //定义一个父类    void whatisit(){

2013-04-30 11:17:06 428

原创 Android 加密解密

1.概念明文:需要被加密的消息,一般是人直接可以阅读理解的内容。(plaintext)密文:  被加密后的消息,一般是人不可直接阅读并理解的。(ciphertext)加密:将明文转换成密文的过程。(encryption)解密:将密文恢复成明文的过程。(decryption)加密算法: 对明文进行加密时所使用的算法。解密算法:对密文进行解密时所使用的算法。加密密钥:enc

2013-04-19 10:37:43 612

原创 阿里云开放数据处理服务(ODPS)

http://www.aliyun.com/product/odps/?spm=5176.383338.a1z09.7.wm5LNi 待续。。。

2013-04-18 11:04:58 652

转载 HANA vs PureData vs Exadata

转载:http://storage.ctocio.com.cn/144/12445144.shtmlhttp://www.dbform.com/html/2012/2051.html IBM Puredata Systems  在日前的新加坡圣淘沙IBM InterConnect 2012上,IBM宣布推出名为PureData的针对大数据处理业务的集成系统PureData,三款

2013-04-16 11:44:52 1466

转载 storm简介

转载:http://www.searchtb.com/2012/09/introduction-to-storm.html 场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个

2013-04-14 17:54:56 420

转载 旅游文章合辑,帮你梳理在线旅游市场格局和未来布局,以及移动互联网时代的机遇和挑战

转载: http://www.huxiu.com/article/3475/1.html 清科数据,2011年,我国在线旅游行业披露投资金额为5.71亿美元(披露的投资事件14起),投资金额创历年新高。在线旅游也成为继电子商务、社交网络、网络游戏、网络营销之后的又一VC/PE投资热点行业。除了携程、艺龙等老牌OTA,腾讯、阿里、百度、京东等巨头也先后布局旅游电商。另外由于App与“

2013-04-14 17:13:59 576

转载 百分点推荐引擎——从需求到架构

转载: http://www.infoq.com/cn/articles/baifendian-recommendation-engine 需求当下,个性化时代的潮流势不可挡,业界普遍意识到了推荐是网站的一项基本服务。但是,人们对推荐该如何来做,也就是推荐技术本身,还不甚了解。我们经常会遇到这样的疑问:“购买过该商品的用户还购买过哪些商品这种推荐,不是一个SQL语句就搞定了吗?”其

2013-04-14 17:09:36 894

转载 Qlikview+nPrinting

转载:http://q.weibo.com/411790/article/ta5E0b6 向大家隆重介绍Qlikview+nPrinting的完美结合! 解决了Qlikview 11里面得交4万美刀才能实现的以PDF的格式自动发报告到指定邮箱(Qlikview在这点上太不厚道了有木有,这么简单的功能收费这么高)。更重要的是可以实现Qlikview和Excel的互连,从而实现在Excel里面

2013-04-14 17:08:33 2321 2

转载 2011年企业软件行业回顾和发展

转载: http://blog.sina.com.cn/s/blog_67a91b030100yaer.html 2011年已经过去,我们的分析师将对这一年发生的企业软件行业的大事件、大势做一个总结。 Jorge Garcia,BI研究分析师2011年有关商业智能(BI)的三大名词:1. 大数据(big data):每家厂商都进入了大数据领域----Oracle和微软及它们

2013-04-14 17:07:59 647

转载 Data Vault

转载: http://datawarehou.se/knowledge/data-vault/#comment-146 Data Vault前言:Data Vault这个词对我来说非常陌生,一次和Vincent的邮件交流中他提到这个概念。查了下资料,总结如下。Data Vault是一种新的针对企业级数据仓库的数据建模方法,该概念主要面向数据架构师、数据建模人员和数据库管理员。

2013-04-14 17:03:25 7146 1

转载 餐饮业如何布局移动互联网

转载:http://www.leiphone.com/catering-industry-mobile-internet.html 作者简介:王鑫光毕业于北京航空航天大学经济管理学院;2010年创办路客网,2012年创办“苹安云开”,专注于中国特色商业街和连锁企业O2O方向;联系方式:@王鑫光 邮箱:xinguang@o2oapp.com前言:民以食为天,尤其中国作为美食大国,

2013-04-14 16:53:14 842

原创 PL/SQL

1.Plsql 引擎可以接受应用程序的程序,然后将sql 部分和plsql 部分分离出来,分别交给sql引擎和plsql引擎执行,提高执行效率。2.plsql支持dml,select语句,不直接支持ddl,用动态语句,execute immediate或DBMS_SQL。3.forall与批处理bulkcollection联合用,bulk collection可以减少plsql的引擎和sq

2011-07-26 16:35:06 343

原创 DW-BI Tool

我用过的工具:DB2/Oracle/Teradata + Datastage/Abinitio+ Cognos/Qlikvew/BIEE/BO + SPSS/SAS收购整合的工具:SAP:BUSINESS OBJECTS(Crystal Reports),SybaseOracle:Hyperion(brio),ESSbaseIBM:Datastage,Cognos, N

2011-07-26 11:34:15 426

转载 Exadata V2 vs pureScale

转载http://geniusmatt.blogbus.com/logs/75269846.html  前言        最近计划做pureScale高可用性及扩展性测试,收集了一些这方面的资料,09年年末也有过一次和Oracle关于Exadata V2产品的交流。严格意义上,pureScale和Exadata V2没有可比性。pureScale不是Exadata V2那样的软硬件集

2011-07-21 23:33:16 755

原创 内联视图、标量子查询、WITH子查询分解的示例

内联视图、标量子查询、WITH子查询分解的示例-- 内联视图 (子查询在from后面,作为一个表)select p.pname,c1_sum1,c2_sum2from p,(select id,sum(q1) c1_sum1 from s1 group by id) s1,(select id,sum(q2) c2_sum2 from s2 group by id) s2w

2011-07-18 09:17:34 1398

原创 Oracle 高级SQL

简单case和searched case之间的区别:Case exp when then ; Case when then1. 简单case只能是when后面的表达式完全匹配case后的表达式,相当于 =,所以也不能匹配null。2. searched case可以作为比较条件,那么可以使用like,!=,between ..and,层次查询1. Conne

2011-07-15 16:29:07 457

原创 oracle ETL

1.大批量,大吞吐量2.并行:merge3.统计函数:Rank,rollup, cube4.move data:TTS tablespace,merge/exchage partition,external table5.不用cursor;用view, global temp table6.MQT,可以有效加快统计类报表的速度 HW建议:1.使用游标来处理逻辑,用游

2011-07-14 22:21:05 587

原创 Oracle concept

1.数据是在block里存储的,一个block可以有很多行。空块组成freelist. Pctfree=10,就是说一个块的使用率达到90%,unlink from freelist;Pctused=40%,就是说一个块的使用率低于40%时,relinik to free list.2.redo-保存的是commited数据,当数据库出现故障时,可以recovery.    undo-保存

2011-07-14 20:08:18 288

原创 Oracle与DB2的那些事儿

http://wenku.baidu.com/view/696c88d176eeaeaad1f33096.htmlhttp://www.itpub.net/thread-1428290-1-1.html Oracle and DB2的高可用性和容灾性。Hardware/OS: HA,HACMPInstance:RAC,PurescaleData: RMAN,Backup Uti

2011-07-14 19:04:49 583

原创 Oracle 分区

1.Range/list,方便历史数据的迁移,如交易表2.Hash,用于主数据表,如客户表3.composite,Range-List,如(Year,Month)的分区方法4.前缀索引:分区字段是索引字段的一部分(前缀)5.本地索引:分区字段=索引字段6.全局索引:分区字段7.delete recrod可以自动维护索引,但drop table时,普通索引和全局索引,索引

2011-07-13 21:45:59 359

原创 Share-nothing and Share-everything.

Sharenothing: Teradata, DB2 DPF, MySQL( need to re-distribute data)Shareeverything: Oracle, DB2 purescale,, MySQL(争用磁盘,但一致性好,集群性好) Oracle:一台服务器可以安装多个实例,一个磁盘阵列可以有多个库 --这样两套系统可以跑在同一个机器上。一个实例不可

2011-07-12 16:26:37 1042

原创 CDC

1.字段:创建日期,修改日期,有效性。insert: 创建日期=当前=修改日期  and 有效update:创建日期=旧,修改日期=当前 and 有效delete: 创建日期=旧=修改日期 and 无效2.触发器3.日志(Steam/CDC)4.全文比对(MD5),拉链表5.全文清除,插入

2011-07-12 16:22:42 255

原创 职业化,专业化

1. 工作技能:像个做事的人2. 工作形象:看起来像那一行的人。3. 工作态度:用心把事做好。4.工作道德: 对一个品牌信誉的坚持。

2011-07-12 16:01:46 269

原创 星型建模注意点

1. 系统设计以业务为出发点。2. 源数据的评估很重要。3. 一致性维度4. 不要根据报表来设计系统5. Surragate Key的使用6. 注意跟踪维度的变化。7. 数据要保持在最低粒度(BL层)8.DIM表的描述性属性应详细。9. 不要把描述性属性放在Fact表。

2011-07-12 15:57:54 283

原创 DB2 vs Oracle 系统视图

DB2:SysIBM 系统编目(catalog)syscat:静态的对象信息。sysstat:动态性能信息。Oracle:Sys 数据字典(data dict),存放在SYSTEM表空间sys: (dba_/user_/all_)静态的对象信息sys:(V$)动态性能信息

2011-07-12 15:50:28 284

原创 Datastage 注意点

1. 逻辑复杂的Stage, write Annotation.2. Test data: Row/Column Generator3.Debug Data: copy->filter->peek4. Modify stage for type convesion.5. Combine Stage: header-+detail+trailer6. or express can

2011-07-12 15:40:40 263

原创 DW/BI 架构层次

1. Source, 3NF/File, 源数据2. Stg, 3NF,暂存数据(同源同构,不对外提供服务)3. ODS, 3NF,操作数据(简单处理,提供基于业务数据的应用)4. BL, Star, 明细数据(面向主题域,数据加工,产生衍生指标)5. DM, Start, 汇总数据(特定领域的应用)6. OLAP, Cube, 多维数据7. Report。最难

2011-07-12 15:25:41 1218

原创 Oracle 优化容易忽略的地方

1. Exist 先执行主查询,in 先执行子查询,所以如果主查询有约束条件,应用Exist。2. 非等值连接,只能用排序合并连接,等值连接就可以用Hash Join(快)。3. Null处理,Coalesce, NVL4. SQL是集合处理。5. Mview, Force(fast(log)->complete), on demand, Query rewrite.6. 记录

2011-07-12 15:22:05 217

原创 Oracle 优化流程

1.确定各方职责,时间点,责任人。接口人最好是甲方,而不是开发商。2.性能分析报告(基线)3.优化方案(策略,路径,评估指标)4.方案评审5.实施计划6.实施过程(保存系统表,做好备份-rename table, insert /*+append*/ select )7.验收总结。1)        确定性能基线2)        定位问题SQL3)

2011-07-12 15:08:44 186

原创 Oracle 优化原理

1.Query transformer:1)View merging - represent the view to the containing query block(table).2)Predicate pushing - push the relevant predicates from the containing query block into the view.3)Su

2011-07-12 15:00:16 215

原创 Oracle 优化策略

1.    普通表转分区表(大表-2G,多于1000万条记录)2.    索引(减少非索引扫描)建立索引在约束条件列,选择性高列,被驱动表(内表)连接列(驱动表的连接列不一定)结果集在总行数的2%-4%,应建索引(编号,日期,外键)函数索引- QUERY_REWRITE_INTEGRITY = TRUSTED,QUERY_REWRITE_ENABLED = TRUE,bit

2011-07-12 14:53:32 206

原创 DB2数据库性能调整和优化 2.Design

1.物理设计。a.容器:条带化,裸设备,支持并发I/Ob.存储:日志用RAID5,数据用RAID10c.配置:extentsize=条带深度N倍,prefetchsize=条带深度*宽度的N倍 2.逻辑设计。a.缓冲池:不同页大小的表空间,至少有一个缓冲池。将经常使用的小表或索引,放在单独的表空间,拥有自己的缓冲池,保证其不被移出BP,提高性能。基于块的缓冲池可使用块I

2010-06-16 17:08:00 256

原创 DB2数据库性能调整和优化 1.OS

DB2数据库性能调整和优化 -- 牛新庄 Performance is volumn and response time.a.physical b.I/O c. config d. Index e. lock/log f.SQL RAID-0 is best performance and best data protect, but need more disk(50%),for

2010-04-16 00:16:00 348

ETL数据增量抽取方案

ETL数据增量抽取方案,ETL数据增量抽取方案,ETL数据增量抽取方案

2011-08-02

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除