数据库
文章平均质量分 56
li2008xue2008ling
这个作者很懒,什么都没留下…
展开
-
MongoDB-Nosql简介
NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。原创 2016-06-17 18:02:20 · 573 阅读 · 0 评论 -
数据仓库的灵魂--元数据
企业数据量的日益膨胀以及数据的多样性和复杂性,使人们不禁感叹二十年前查询不到数据是因为数据太少,而现如今查询不到数据则是因为数据太多了。如何及时地从海量的原始数据中提取更多、更好地信息,为企业的决策分析服务,成为人们一直关心的问题。在这种情况下,数据仓库技术应运而生。数据仓库能把企业决策所需的信息从企业原始数据中分离出来,把分散的、难以访问的原始操作数据转化为集中统一、随时可用的信息,实现了对信息合理、全面而高效的管理,因此很快在金融、证券、保险等联机事务处理密集型行业得到广泛的应用,取得了较好的效益。随着原创 2013-10-18 21:57:42 · 1815 阅读 · 1 评论 -
Oracle Interval-Partition 解决Range分区大难题
上篇博客《oracle分区》中讲了oracle的几种分区,并且对于oracle的典型分区如Range分区和List分区给了示例。 在实际运用Range分区时,遇到了这样的难题:createtableTMP_LXQ_1( PROPOSALNO VARCHAR2(22), STARTDATE DATE)partition原创 2013-09-16 23:33:24 · 10109 阅读 · 1 评论 -
oracle分区
在建设数据仓库过程中,经常会有大量数据,短时间内表中数据量有限,查询性能还可以,但随着时间的延长,表中数据量迅速增加,查询速度就会变慢,性能下降,这时就要考虑对表进行分区。 一、oracle的分区当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件原创 2013-09-06 23:45:01 · 2086 阅读 · 1 评论 -
做好先期工作,才能有效沟通
平时工作中,客户会给我们各种各样的需求,或者系统下的一些表,让我们去临时做一个报表或者提一下数据,而我们对表中系统和业务统统不懂,这时候就需要跟客户沟通来获取有效信息。 开始的时候,拿到需求就向客户咨询,问业务是怎么回事,然后问核心开发人员数据是怎么回事。但是由于自己业务了解的少,系统数据了解的也少,客户不知道我到底需要什么,他就会将自己认为重要的告诉我,但是回来后就发现,客户给的原创 2013-09-29 23:34:24 · 889 阅读 · 1 评论 -
做好计划,严格执行
项目组近期在开发一个A项目,A项目从年前就开始做一期,大概做到今年4月份一期上线。5月份开始做二期,但是二期需求足足做了有5个月,迟迟定不下来,总是变更,到9月份终于定下来,然后开始开发。我在这个项目中的主要任务就是做模型设计。开始设计第一版模型的时间是6月份,项目经理要求用两天时间出一个需求,当时因为需求一直没定,总是变更,并且客户那边要求的也不紧,再加上我手头还有其他工作,所以没有着急,结原创 2013-09-29 23:58:43 · 1098 阅读 · 1 评论 -
oracle 优化问题
这几天被派到另外一个项目组帮忙,在工作过程中,感触最深的是海量数据的处理。以前一直以为自己接触的数据量就够大了,到了这个项目组,才发现,原来的数据量和这边差太远了。这边的数据量才算得上海量数据。 接触到海量数据,就遇到一个问题,就是海量数据的处理。我的主要工作就是根据逻辑对表进行增删改查,逻辑不难,但是难的是,数据量简直太大了,数据根本就跑不动。就比如上周四,我写了一个表对抽的sq原创 2012-11-14 19:11:05 · 523 阅读 · 2 评论 -
Oracle多行记录合并自定义函数
在oracle数据库中,进行字段合并,可以使用wm_concat(column)函数,但是在这种方法不被Oracle所推荐,因为WMSYS用户用于Workspace Manager,其函数对象可能因版本而不同而出现异常,这种变化在11.2.0.3及10.2.0.5中体现出来。原本WM_CONCAT函数返回值为VARCHAR2,但在一些版本下就会变更为CLOB。这一变化导致了很多程序的异常。原创 2013-08-24 22:58:40 · 2825 阅读 · 1 评论 -
数据分析之车险理赔业务
车险理赔流程原创 2013-08-09 23:43:29 · 4345 阅读 · 2 评论 -
Teradata和Exadata
teradata和exadata原创 2013-07-31 20:34:33 · 1706 阅读 · 1 评论 -
保险免赔率
免赔率是指不赔金额与损失金额的比率。分为相对免赔率与绝对免赔率两种。保险公司认为某些易碎、易短量的商品在运输途中遭受一定比例的损失是不可避免的,故投保这类商品规定在某百分比范围的破碎或短量可以免赔,该百分比就是免赔率。投保的商品实际损失比率超过规定的免赔率时,保险公司只负赔偿超过免赔率的部分,这种赔偿的比率叫作绝对免赔率。投保的商品实际损失比率超过了规定的免赔率时,保险公司负责赔偿实际原创 2013-07-31 19:58:59 · 765 阅读 · 1 评论 -
oracle空间不足错误
ORA-01650:unable to extend rollback segment NAME byNUM intablespace NAME产生原因:上述ORACLE错误为回滚段表空间不足引起的,这也是ORACLE数据管理员最常见的ORACLE错误信息。当用户在做一个非常庞大的数据操作导致现有回滚段的不足,使可分配用的回滚段表空间已满,无法再进行分配,就会出现上述的错误。解决方式:使用原创 2013-07-30 22:58:36 · 830 阅读 · 1 评论 -
缓慢变化维
teradata与exadata初探原创 2013-07-30 21:21:27 · 754 阅读 · 1 评论 -
数据仓库建模的重要性及其原则
概念模型 业务理解:确定业务主题域,识别核心业务对象及其关系 逻辑模型层次分明:清晰合理地划分,层次要有充分的存在的理由关系清晰:表间ER关系,层次之间mapping关系 物理模型结构合理:适当冗余,适当降范式存取方便:ETL过程简单原创 2013-06-29 23:10:13 · 1234 阅读 · 1 评论 -
数据仓库架构
从接触数据仓库开始,一直接触过数据仓库的一种架构,就是数据根据一定主题在库与库之间的不断前移。 一般来说都是:源系统-->sga同构层数据-->数据清洗层-->中间层--->应用层。这就是根据一个主题,完成数据的集成、清洗、转换及其显示。 前两天接触到另外一条数据思路,那就是管理类思路,他记录的是数据质量的清单,管理数据质量。觉得这是一个很好的思路,能够将原创 2013-04-28 23:20:37 · 701 阅读 · 1 评论 -
大数据时代下我可以做什么
昨天去听了一天的51CTO举办的大数据峰会(当然谢谢陈绪,他给我的这次机会),上午听了数据挖掘专场,下午听了企业应用与大数据处理专场。总体给我的感觉是,大牛们都很牛,他们都讲了些什么,我基本听不懂,只是听过一些名词,还有很多名词连听过都没有听过。听这一天会议下来,我的总体感受就是彻底的懵了,不知道什么样的数据是大数据,不知道他们所讲的那些名词:hadoop、hive、HDFS、MapReduce、原创 2013-04-28 23:59:10 · 931 阅读 · 1 评论 -
ERWIN加注释
最近项目经理让我管理模型,对于模型中字段和表名的注释,真是一个麻烦事,因为每次你都要一个个的给字段添加注释。 通过在网上查询和自己摸索,发现了一个简便的方法,这可省了不少事。 问题是这样的:创建一份ERWIN logincal/physical模型。先做实体模型,即逻辑模型,然后建好物理模型,生成dll,入库。但是这时建好的表和字段没有注释。原创 2013-04-28 22:56:01 · 2222 阅读 · 2 评论 -
ERWIN设置字段顺序
公司用ERWIN建模,相比起其他的建模工具,总是觉得ERWIN用的不顺手,比较麻烦。就比如ERWIN字段顺序问题,将实体设置好,完成物理与逻辑模型映射,这时是可以生成建表语句。建表语句中实体字段的顺序与表中字段的顺序往往不一致,生成的建表语句的字段顺序不能按自己想要的来。这时就需要考虑设置字段顺序了。下面介绍两种设置字段顺序的方法,第一种设置了一次,觉得非常好用,大家可以试试1.Forwa原创 2013-04-28 22:11:05 · 2549 阅读 · 1 评论 -
数据仓库设计基础--关系模型和多维模型
专业数据仓库面临的一个问题是数据仓库中数据库设计的基本模型选取问题。广泛采用的数据库设计模型有两种,关系型和多维型。下面介绍两种模型,及其两种方法的区别和在数据仓库中的应用,两种方法的优缺点。在建立数据仓库过程中,对于数据库设计而言,建立关系型数据库是最佳的长期的方法,并且这种情况需要真正的企业方法。多维模型有利于短期数据仓库,但这种方法使用的数据仓库的范围有限。一、关系模型二、多维模原创 2013-10-30 23:06:39 · 3573 阅读 · 1 评论 -
OLTP和OLAP小结
重拾java之感原创 2013-10-29 21:52:40 · 691 阅读 · 1 评论 -
MongoDB初探
MongoDB初探1.MongoDB下载: http://www.mongodb.org/downloads 2.MongoDB安装 根据你的系统下载 32 位或 64 位的 .msi 文件,下载后双击该文件,按操作提示安装即可。 安装过程中,你可以通过点击 “Custom(自定义)” 按钮来设置你的安装目录。 3.MongoDB创建数据目录 MongoDB将数据目录存储在data 目录原创 2016-06-17 17:30:56 · 1479 阅读 · 0 评论 -
oracle查看视图引用表及视图内容
1.查看存储过程引用了哪些表和视图select *from dba_dependencieswhere referenced_name = xxxand referenced_type in ('TABLE','VIEW');2.查看存储过程内内容select name,line,textfrom user_sourcewhere name=xxxo原创 2016-03-31 21:53:07 · 4658 阅读 · 0 评论 -
Oracle dba_dependencies和User_source
一 dba_dependencies 最近数据中心ODS数据库因为空间原因,需要做清理,把一些不用的数据或表清理掉,但涉及到的应用又比较多,需要先了解应用之间的关系,使用dba_dependencies视图来查看各个表对应的应用程序。 常用的有几种情形: 1、批量查看视图所依赖的表。 2、批量查看存储过程、函数、包引用了哪些表。 方法: select * from dba_depen原创 2016-01-31 21:31:22 · 2020 阅读 · 0 评论 -
如何科学的创建索引
如何科学的创建索引 一般来说,适当的使用索引可以提高数据检索速度.对于建立索引,以前只是凭着感觉去做索引,但是没有一定原则,本文主要介绍如何科学的创建索引.一、索引介绍 1.oracle的索引分为5种:唯一索引,组合索引,反向键索引,位图索引,基于函数的索引 2.创建索引的标准语法: 创建普通索引:CREATE INDEX 索引名 ON 表名 (列名) TABLESPACE 表空间名;原创 2015-12-30 23:10:10 · 816 阅读 · 1 评论 -
linux启动和关闭weblogic命令
在定义的域中可以找到如下命令:/[Home]/domains/[Domain]/startWebLogic.sh/[Home]/domains/[Domain]/stopWebLogic.sh启动服务:nohup./startWebLogic.sh &查看:tail -f nohup.out停止服务:./stopWebLogic.sh查看服务是否正在运行:p原创 2015-10-31 22:39:13 · 870 阅读 · 0 评论 -
Oracle Purge语句使用
前言:drop后的表被放在回收站(user_recyclebin)里,而不是直接删除掉。这样,回收站里的表信息就可以被恢复,或彻底清除。–查询回收站原创 2015-07-24 19:40:44 · 871 阅读 · 0 评论 -
存储过程访问其他用户表权限不足问题
问题:两个用户 USER_A,USER_B,赋予了DBA权限;其他权限未选;两个用户都有N多张一模一样的表名,如STUDENT;于是在USER_A为当前用户的情况下:执行:SELECT * FROM USER_B.STUDENT 没问题;但是就是不能写存储过程:CREATE PROCEDURE XXXASBEGIN SELECT * FRO原创 2015-02-27 23:27:20 · 3690 阅读 · 2 评论 -
oracle 存储过程 循环游标的简单实用示例
基础数据准备:create table STUDENT( username CHAR(8), score NUMBER);insert into student select 'zhangsan' username, 80 score from dual;insert into student select 'lis' username,原创 2015-02-27 23:15:15 · 3029 阅读 · 2 评论 -
Hadoop初探(一)
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoo原创 2014-08-31 18:34:45 · 677 阅读 · 1 评论 -
读书笔记 - 维度建模完全指南
1. 数据仓库必须由业务用户的需要来驱动,并因此从一个维度视角来建立与展示数据仓库。2. 持数据仓库是操作型系统的数据在其他平台的备份或者出于性能的考虑而分离自操作型系统的观点来建立数据仓库是一种伪数据仓库。3. 数据仓库的根本目标:1) 必须使组织机构的信息变得容易存取。(直观,明显,容易阅读,快速读取)2)转载 2014-07-31 22:45:49 · 985 阅读 · 1 评论 -
(笔记)数据仓库工具箱:维度建模的完全指南--一致性事实表
维度保持一致后,事实就可以保存在各个数据集市中。虽然在物理上是独立的,但在逻辑上由一致性维度使所有的数据集市是联系在一起,随时可以进行交叉探察等操作,也就组成了数据仓库。原创 2014-07-31 22:32:23 · 2036 阅读 · 1 评论 -
(笔记)数据仓库工具箱:维度建模的完全指南--总线结构
在数据仓库领域,有一种构建数据仓库的架构,叫Multidimensional Archite(MD),即多维体系结构,也叫“总线结构”(Bus Architecture)。多维体系结构的创始人是数据仓库领域最有实践经验的Kimball博士。 在kimball的维度建模的数据仓库中,关于多维体系结构有三个关键性概念:总线架构(Bus Architecture),一致性维度(Conf原创 2014-07-29 22:13:16 · 3003 阅读 · 1 评论 -
(笔记)数据仓库工具箱:维度建模的完全指南--一致性维度
一致性维度在数据仓库总线中的作用:奠基石。一致性维度:要么是同一的,要么是具有最佳粒度性与细节性的维度在严格数学意义上的子集。一致性维度的三种基本的交付步骤。数据整合的关键就是生成一致性维度,再通过一致性维度将来自不同数据源的事实数据合并到一起,供分析使用。通常来说,生成一致性维度有如下三个步骤:1.标准化(Standardizing)标准化的目的是使不同数据源的数据编原创 2014-07-29 22:25:09 · 1775 阅读 · 1 评论 -
数据仓库建模--星型模型
oracle 时间函数总结原创 2013-08-31 07:58:17 · 4259 阅读 · 1 评论 -
模型的把控
通过做客户分析项目,发现要做好一个模型分析师,需要做的事情非常多,既要充分了解需求,又要对后台ETL过程有很好的把控。下面是对做模型的一点总结: 业务需求:做模型时,觉得对ecif比较了解,以为做模型没问题,但是发现,业务根本不是自己想像的那样清晰,业务人员本身也不懂自己到底要什么,但是他们就是想让你给他们开发出一套分析系统,这时候你既要站在一个业务人员的角度来了解需求,又要从技术的角原创 2013-12-12 18:32:51 · 650 阅读 · 2 评论 -
分析函数lag和lead详解
1.函数功能Lag和Lead函数可以在一次查询中取出同一字段的前N行的数据和后N行的值。这种操作可以使用对相同表的表连接来实现,不过使用LAG和LEAD有更高的效率。2.lag和lead语法:lag(exp_str,offset,defval) over()exp_str 是要做对比的字段offset 是exp_str字段的偏移量 比如说 offset 为2 则 拿ex原创 2013-11-27 22:58:18 · 3241 阅读 · 1 评论 -
数据仓库学习--数据仓库的粒度
确定数据仓库中数据的恰当的粒度是数据仓库开发者需要面对的一个最重要的设计问题。如果数据仓库的粒度确定的合理,设计和实现中的其余方面就可以进行的非常顺畅,相反,如果粒度确定的不合理,就会使得所有方面都很难进行。粒度对于数据仓库体系结果设计人员也非常重要,因为粒度会影响到那些依赖于从中获得数据的的数据仓库的所有环境。粒度影响数据传送到不同环境中的效率,从而决定可以进行的分析的类型。原创 2013-11-28 22:36:56 · 1327 阅读 · 2 评论 -
ETL数据测试方法小结
开始接触BI,是很兴奋的,因为觉得这是一个很先进的技术,它可以协助企业做出决策。真正接触后,发现这确实是一个好东西,但是让它真正发挥作用要建立在分析结果的正确性上。 在工作中,我们经常会根据客户的需求,为客户得到他们想要的数据。比如客户的评级,客户的状态分布(在司,流失,潜在)等等,但是在做完这些后,我们往往会遇到这样一个问题,结果正确吗?是客户想要的结果吗?我们怎么来验证数据原创 2013-02-28 23:29:21 · 6882 阅读 · 3 评论 -
数据探查(二)
前些天写了一篇博客:数据探查(一),简要介绍了一下数据探查。但那时候只是刚刚接触,没有意识到数据探查的真正的重要性。 项目中,我们需要给其他系统对抽表数据,对抽表的数据就是将源表中的数据,完全对抽到目标表中。这个过程本来觉得很简单,直接将数据抽取过去就可以了,但是后来发现不是那么回事,你要对你送出的数据负责。 这些数据到底是什么数据?这些传过去的数据是否正确,业务原创 2013-02-28 23:23:41 · 6251 阅读 · 2 评论 -
ERWIN操作--建表步骤
ERWIN操作--建表步骤建表步骤:1.先建逻辑模型2.逻辑模型建完后,建立命名文件*.csv文件学生信息表STUINFO学号STUID姓名STUNAME性别STUMALE班级CLASS身份证号原创 2012-07-30 18:16:51 · 5959 阅读 · 4 评论