大数据
文章平均质量分 59
litongtong1028
这个作者很懒,什么都没留下…
展开
-
Hbase+Solr解决Hbase多条件查询
Hbase只支持单索引,而且只能按照rowkey查询,如果多条件查询会非常麻烦,也不能很好的支持分页功能,可以借助solr将需要查询的列和对应的rowkey建立索引,多条件查询时根据列值到solr中查找对应的rowkey,然后通过rowkey到Hbase中查询数据可以借助Coprocessor实现Hbase插入后自动建立solr索引 具体博客链接:http://database.5...原创 2016-04-28 17:14:18 · 404 阅读 · 0 评论 -
druid
什么是Druid Druid 是一个开源的,能在海量时序数据上 (万亿级别数据量, 1000 TB级别数据)上面提供实时分析查询的OLAP数据仓库,Druid提供了廉价的实时数据插入和任意数据探索的能力。Druid的主要功能 为分析而生 - Druid是为了解决在OLAP工作流中进行探索分析而生的. 它提供了大量的filters, aggregators和 query...原创 2016-10-14 19:05:05 · 131 阅读 · 0 评论 -
MapReduce原理与设计思想
MapReduce原理与设计思想简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃?MapReduce方法则是:给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃,然后把这个数目汇报给你你把所有玩家告诉你的数字加起来,得到最后的结论...原创 2016-08-23 20:20:17 · 247 阅读 · 0 评论 -
MapReduce工作原理
文章转自:http://weixiaolu.iteye.com/blog/1474172 1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图: 流程分析: 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资...原创 2016-08-23 14:43:37 · 86 阅读 · 0 评论 -
prestogres 通过pgsql访问presto
PostgreSQL protocol gateway for PrestoPrestogres is a gateway server that allows clients to use PostgreSQL protocol to run queries on Presto.You can use any PostgreSQL clients (see also Limitati...原创 2016-08-22 10:17:51 · 697 阅读 · 0 评论 -
Shib+Presto 即席查询
1.1.即席查询的目标使用者是产品/运营/销售运营的数据分析师;要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里;不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待;所以,使用者提交了一个计算任务(PIG/SQL/Hive SQL),控制台告知任务已排队,给出大致的计算时间等友情提示, 这些...原创 2016-08-22 10:08:39 · 1100 阅读 · 0 评论 -
Presto
Presto不是什么虽然Presto一直被一些个人或者团体称为 数据库 ,但是Presto并不是数据库。千万不要以为Presto可以解析SQL,那么Presto就是一个标准的数据库。Presto并不是传统意义上的数据库。Presto并不是 MySQL、PostgreSQL或者Oracle的代替品。Presto并不能用来处理在线事务。其实很多其他的数据库产品也是被用来设计为数据仓库或 ...原创 2016-08-18 19:53:30 · 621 阅读 · 0 评论 -
Trafodion-大数据领域中的关系数据库
Trafodion简介Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库,它完全开源免费。Trafodion能够完整地支持ANSI SQL,并且提供ACID事务保证。和传统关系数据库不同的地方在于,Trafodion利用底层Hadoop的横向扩展能力,可以提供极高的扩展性。而传统数据库,比如MySQL,在数据量达到P级别的时候就很难处理。而Trafodion却可以借...原创 2016-08-12 10:33:58 · 304 阅读 · 0 评论 -
kylin
Kylin简介Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。Kylin 是:超级快的 OLAP 引擎,具备可伸缩性为 Hadoop 提供 ANSI-SQL 接口交互式查询能力MOLAP Cube可与其他...原创 2016-05-28 09:34:04 · 172 阅读 · 0 评论 -
开源BI系统
saiku:https://github.com/OSBI/saikuspagobi:http://www.spagobi.orgpentaho http://www.pentaho.combirt:http://www.eclipse.org/birt/JasperReports:http://community.jaspersoft.com原创 2016-05-28 09:27:59 · 851 阅读 · 0 评论 -
OLAP简介及Mondrian快速入门
转载自:http://www.huqiwen.com/2012/06/15/olap-abstruct-and-mondrian-quick-start/OLAP简介及Mondrian快速入门2012年06月15日 技术分享 评论 2 条 阅读 18,464 views 次OLAP(On-Line Analysis Processing)在线分析处理是一种共享多维信息的快速...原创 2016-05-28 09:18:08 · 366 阅读 · 0 评论 -
saiku
转载自: http://blog.csdn.net/sunyingyuan/article/details/41944035简介Saiku成立于2008年,由Tom Barber和Paul Stoellberger研发。最初叫做Pentaho分析工具,起初是基于OLAP4J库用GWT包装的一个前端分析工具。经过多年的演化、重写之后,于2010年,改名为Saiku。OLAP分析...原创 2016-05-28 09:17:45 · 205 阅读 · 0 评论 -
saiku源码构建
最近在调研saiku,综合了网上很多资料终于build成功了,分享一下build的经验。我们选择的是3.7的源码进行构建,因为3.8需要获取许可1、在github上拉去3.7的源码:https://github.com/OSBI/saiku2、修改pom文件,主要修改仓库地址,注释无用的modlue引用,具体步骤参照:http://blog.csdn.net/gsying1474/...原创 2016-10-19 18:25:07 · 524 阅读 · 0 评论