--4大数据应用
文章平均质量分 50
-爱拼才会赢-
只想把一件事做透
展开
-
大数据(big data)
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯 大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。以视频为例,连原创 2013-06-17 09:49:22 · 2297 阅读 · 0 评论 -
数据修正
是经济数据中吧,有时一个数据公布时是初步统计,称为初值,其中有些数据可能当时并不准确,所以过一段时间会有一个修正值。什么情况下,需要对生产总值数据进行修正? 由于核算GDP所需基础数据的差异,以及统计调查体系的差异,世界各国GDP数据都不是一锤定音,必须根据更加完整、可靠的基础数据不断修订,这是GDP核算的国际惯例。每个国家都会根据自己的情况制定GD原创 2014-01-06 15:41:35 · 2014 阅读 · 0 评论 -
ORACLE ETL数据抽取
数据仓库中的ETL详细的分为四个阶段:提取,传输,转换,装载。我先简单的介绍一下提取和传输的分类和方法: 一:提取 提取可以分为逻辑提取,和物理提取。 1:逻辑提取按照规模分为:完全提取,增量提取。 完全提取简单运用EXP或者全表扫描可以完成。 增量提取是提取相比上次提取增加了的数据,也可以是按照数据产生时间PATITION了的一个分区等等。Oracle's Chan转载 2014-01-06 16:29:13 · 5274 阅读 · 0 评论 -
商业智能BI产出的五种形式
商业智能BI产出的五种形式原创 2014-02-20 19:30:54 · 1335 阅读 · 0 评论 -
数据质量
1. 何谓数据质量何谓数据质量可从两个方面来理解:1.1. 数据本身的数据质量l 数据的真实性。数据必须真实准确的反映实际发生的业务。l 数据的完备性。数据的完备性是说数据是充分的,任何有关操作的数据都没有被遗漏。l 数据的自洽性。数据并不是孤立存在的,数据之间往往存在着各种各样的约束,这种约束描述了数据的关联关系。数据必须能够满足这种数据之间的关联关系,而不能够相转载 2014-02-20 20:07:57 · 1322 阅读 · 0 评论 -
旅行一条龙服务 【在线旅游OTA产品相关性分析】
旅行一条龙服务 【在线旅游OTA产品相关性分析】原创 2014-02-21 20:46:50 · 1184 阅读 · 0 评论 -
理解业务中的数据【读懂数据】
理解业务中的数据【读懂数据】原创 2014-02-23 11:42:07 · 1321 阅读 · 0 评论 -
大数据应用案例【创新需要大数据】
第一步:数据分析>发现问题>解决问题第二步:控制问题的产生原创 2014-02-25 09:47:40 · 1768 阅读 · 0 评论 -
统计分析方法
统计分析方法:对比分析法、平均和变异分析法、综合评价分析法、结构分析法、平衡分析法、动态分析法、因素分析法、相关分析法等。原创 2014-02-13 21:09:15 · 2323 阅读 · 0 评论 -
DB2 类似ORACLE的DBLINK解决方法 [DB2数据联邦技术]
DB2 类似ORACLE的DBLINK解决方法原创 2014-03-07 09:28:52 · 6141 阅读 · 0 评论 -
P2P 网贷平台 投资人投资分析(OLAP多维分析)
P2P投资分析,投资人投资分析,OLAP多维分析,P2P网贷收益分析,时序图原创 2013-12-22 23:43:30 · 2301 阅读 · 0 评论 -
存款到期OLAP多维分析(IBM powerplay)
存款到期OLAP多维分析(IBM powerplay)原创 2013-12-21 21:44:26 · 1216 阅读 · 0 评论 -
Hadoop
一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程原创 2013-06-17 14:23:44 · 1187 阅读 · 0 评论 -
Hadoop集群(第5期)_Hadoop安装配置
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1)jdk 2)hadoop转载 2013-06-17 14:50:56 · 683 阅读 · 0 评论 -
大数据存储
什么是大数据存储?首先,我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成,既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外,大部分这些数据缺乏索引或者其他组织结构,可能由很多不同文件类型组成。由于这些原创 2013-07-07 19:07:25 · 1109 阅读 · 0 评论 -
海量数据处理{宏观条件分析}
1. 海量数据处理分析 (作者 北京迈思奇科技有限公司 戴子良) 原文地址:http://blog.csdn.net/DaiZiLiang/archive/2006/12/06/1432193.aspx笔者在实际工作中,有幸接触到海量的数据处理问题,对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面:一、数据量过大,数据中什么情况都可能存在。【数据预处理】如果说有10条数据原创 2013-06-27 09:05:13 · 1118 阅读 · 0 评论 -
IBM DB2 大数据处理
(一)DB2删除大数据量表方法 【http://blog.csdn.net/cuiran/article/details/7105357】DB2不支持truncate语句,当用delete from table时候,会很慢很慢,笔者 做过一些测试对于数据量在百万上的,很慢。故找了几种解决办法:第一种:在D 盘建一个empty.del文件。然后通过import命令import fro原创 2013-07-15 11:37:41 · 2957 阅读 · 0 评论 -
DB2 sql 重点难点复习总结
SELECT column1,AVG(column2)FROM table_nameGROUP BY column1HAVING AVG(column2) > xxx用DB2自带的图形工具即可知道SQL语句的查询效率,在“运行”中执行:db2ce 命令行方案Db2expln db2expln -d sample -q "select * from staff " -t DB2原创 2013-08-04 01:25:33 · 1097 阅读 · 0 评论 -
IBM DB2 数据导出为EXCEL
IBM DB2 数据导出为EXCEL。用EXPORT TO 导出,用excel打开,有时候有乱码。SqlDbx.exe 导出没有乱码。SqlDbx导出有表头,而EXPORT 则没有。原创 2013-09-11 10:48:05 · 3725 阅读 · 0 评论 -
sybase iq 15.3 libXtst.so.6: cannot open shared object file: No such file or directory
找到挂载的包路径:一般mntcd /mnt/Packagell libXtst*找到要用到的包rpm -ivh 包文件名.rpm原创 2013-11-19 13:47:11 · 1567 阅读 · 0 评论 -
IBM COGNOS powerplay OLAP多维分析
IBM COGNOS powerplay OLAP多维分析原创 2013-12-21 19:42:45 · 1981 阅读 · 0 评论 -
Pentaho Mondrian OLAP多维分析
想自己体验看效果:http://www.pentaho.com/进行下载,并安装~原创 2013-12-21 21:00:05 · 2500 阅读 · 0 评论 -
IBM DB2 赋权 [SQL0551N ]
IBM DB2 赋权 [SQL0551N ]原创 2014-03-07 11:00:12 · 7382 阅读 · 0 评论