BI&Big Data
临座城池
我始终认为博学的人才儒雅,那才是我追求的酷。So Keep Cool.
展开
-
【big data】分布式系统
分布式系统(distributedsystem)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数据原创 2013-11-08 17:39:24 · 1918 阅读 · 0 评论 -
数据库分区(partition)
什么是数据库分区?数据库分区是一种对表的横向分割,Sqlserver 2005企业版和之后的Sqlserver版本才提供这种技术,这种对表的横向分割不同于2000中的表分割,它对访问用户是透明的,用户并不会感觉的表被横向分割了。(2000中的表横向分割是建n个表例如按时间建表每月一个表,表名不同,最后需要做一个大视图)为什么要分区?显而易见分区是为了提高数据库的读写性能,提高数转载 2013-12-03 17:26:22 · 3245 阅读 · 0 评论 -
商务智能系统的分层
商务智能系统至多可以分为五层:数据源层数据转换层数据存取层分析层 表示层 数据源层包含的数据有:1.维护公司日常运作的系统中的数据,包括文本文件、Excel电子表格文件或者Access数据库文件中的数据。2.从外部源中获取的数据。 数据转换层用于从不同数据源提取数据,修改数据使其内部一致,并将修改后的数据载入数据存储系统。原创 2013-12-25 17:04:13 · 1598 阅读 · 0 评论 -
【big data】MapReduce
MapReduceMapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定原创 2013-11-11 16:36:17 · 1557 阅读 · 0 评论 -
Extraction-Transformation-Loading(ETL)
ETLETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、DataStage、Repository Explorer、原创 2013-11-25 09:56:24 · 1912 阅读 · 0 评论 -
SQL Server 2012里面的商业智能
SQL server 2012 BI最近在学习和处理SQL server Integration Service(SSIS)。最开始的版本是SQL Server 2008,在安装了SQL server 2008的时候选择安装了BI的部分,在开始程序中就可以看到一个SQL Server Business Intelligence Development Studio的应用,然后它就是一个类似原创 2013-11-23 13:04:47 · 2710 阅读 · 0 评论 -
通过AMO获取SQL Server SSAS信息(C#)
Analysis Management Objects (AMO) 是SQL Server SSAS的对象模型库,通过它可以方便的对SSAS里的对象进行访问及控制,包括Cube,DataSource, DataSourceView, Partition, Measure, Dimension, Assembly, Role以及DataMining对象等。要使用它,必须在机器上找到SSAS的安装路径原创 2014-03-14 09:49:22 · 2165 阅读 · 0 评论