![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
山水佳音
来自千古龙飞地,关注互联网,大数据、数据仓库及创新应用。
展开
-
移动基于Percona XTRADB Cluster的大数据解决方案
最近因为“棱镜门”事件的曝光,引起了国家对信息安全问题的注意,各大行业也开展起来去“IOE”的行动。对移动而言, 一方面是对信息安全的担心,另一方面是对降低成本的考量,对开源体系架构的引入也成为一种现实的方案。 在互联网行业,MySQL的使用成为主流,但随着Oracle对Sun的收购,MySQL的控制权落入Oracle手中,对MySQL可能闭源的风险也成为业界的共识。 由此,产生了各种MySQL的分支。本文主要对其中的PerconaXtraDB进行了分析。原创 2014-05-16 16:38:04 · 10880 阅读 · 2 评论 -
重大新闻:Hadoop 2.6.0发布 - 支持硬盘、SSD、内存分层存储
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YAR翻译 2014-12-15 11:45:06 · 4548 阅读 · 0 评论 -
星环科技CTO孙元浩:统一、廉价、实时、融合,2015大数据趋势
星环科技CTO孙元浩:统一、廉价、实时、融合,2015大数据趋势摘要:星环科技CTO孙元浩的演讲主题是“2015年大数据基础技术的演进趋势”。期间,他分享了Spark的一个数据:全球已有近50家企业围绕Spark提供产品和服务,11家提供商业Spark版本。【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,转载 2014-12-15 12:56:28 · 2041 阅读 · 0 评论 -
Presto实现原理和美团的使用实践
Presto实现原理和美团的使用实践 转载自:http://tech.meituan.com/presto.html木叶丸 本文已发表在《程序员》2014.6月刊2014-06-16 10:45Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师转载 2015-01-05 14:09:32 · 1734 阅读 · 0 评论 -
中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。前面用两个月的时间验证了Presto JDBC驱动、Prestogres和SHIB三种方案。Prestogres,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bi原创 2015-03-16 14:21:49 · 3791 阅读 · 2 评论 -
2015年大数据年终工作总结
2015年大数据年终工作总结 今天是2016年第7天,现在来回顾下过去的2015年在大数据研发上的点点滴滴,总结如下三个方面:一、大数据研发技术路线 2015年大数据技术依旧是乱花渐欲迷人眼。笨重的hadoop依旧是主力,以性能著称的Elasticsearch依旧没顾得上SQL,以SQL on Bigdata标榜自己的Presto JDBC驱动缺陷依旧,号称融合了bidata+Elasticsearch+DB的Crate依旧不成熟。我们Presto+Elasticsearch方案原创 2016-01-07 14:03:53 · 6166 阅读 · 0 评论 -
ElasticSearch 2 - 深入搜索系列
对ElasticSearch 2的详细中文介绍,想深入研究ES的值得收藏。感谢作者:Richaaaard转自:http://www.cnblogs.com/richaaaard/default.html?page=1转载 2016-03-06 11:32:10 · 1135 阅读 · 0 评论 -
融合了大数据、搜索引擎及SQL的敏捷大数据方案bigdata 3.0:Presto+Elasticsearch
在bigdata 1.0时代,以hadoop为代表的大数据技术在企业数据仓库架构中起到的只是配角作用,只是完成数据批处理,处理好的数据还是放入传统的RDBMS中,由BI完成展示。这称为混合架构。对即时的数据流,提供了kafka+Storm的解决方案。既无法实现BI和bigdata的无缝对接,也无法进行流数据和大数据关联分析。这应该是一种不得已而为之的方案。 当很多用户刚开始对bigdata 1.0有所了解的时候,bigdata 2.0已经迅速到来。bigdata 2.0主要就是实现了SQL on bi原创 2016-02-11 21:08:58 · 10785 阅读 · 1 评论 -
Spark的下一代引擎-Project Tungsten启示录:兼Presto、impala、spark性能根本比较
在过去的一年之中,我们一直在利用Spark做实时交互式分析系统方面的尝试,有兴趣的同学可以看一下我们之前分享的博客《基于Spark的用户分析系统》。我们在不断受到Spark启发的同时,也不得不忍受尚处于青春期的Spark性格中的叛逆。特别是在不断优化系统性能过程中,发现我们实际上是在做与Project Tungsten同样的工作。不知道是该庆幸选对了方向,还是该忧伤重复发明了轮子。尤其是在对比了Project Tungsten与我们自己的实现,心中五味杂陈。不过也正是由于重复发明轮子的过程,也让我们对Pro转载 2016-02-25 13:23:45 · 6001 阅读 · 0 评论 -
Bigdata 3.0:Presto+Elasticsearch研发进展
Bigdata 3.0:Presto+Elasticsearch研发进展原创 2016-03-06 11:20:27 · 3920 阅读 · 3 评论 -
论big data 3.0取代SAP HANA的可行性
论big data 3.0取代SAP HANA的可行性 简言之,big data 3.0就是要实现SQL on big data,而且要兼顾性能、易用性和可扩展性。目前是“搜索引擎+大数据+SQL“这样一个融合为一体的趋势。本人参加过HANA培训,了解过SAP HANA实施项目,目睹了企业所经历的一个个坑,也很不认同SAP惟利是图的商业模式。但HANA的确是个好东西,就易用性来说就需要开源的大数据好好学习。HANA虽好,但太贵,开放性不好,扩展性是个大问题,不适合处理大数据;开源大数据,覆盖了80%HA原创 2016-06-14 14:05:47 · 1659 阅读 · 0 评论 -
基于Calcite Elasticsearch实现的SQL ON ES方案设想
Elasticsearch是搜索的王者,其强大的DSL不让SQL,但缺少SQL的关键特性,如Join。ES的策略是紧紧拥抱Hadoop/Hive,Spark,有个ES-hadoop方案。Hadoop本身就很笨重,这和轻快的ES是背道而驰的。ES的主要方向目前还在搜索上,SQL也不是它的主要关注点。所以,可预见的一段时间内,SQL on ES只能通过开发或集成第三方软件来完成,如通过Presto或Drill的插件来实现。我们已经测试了Presto Elasticsearch Connector。我们认为,基于原创 2016-04-13 10:48:35 · 10578 阅读 · 5 评论 -
彪悍开源的分析数据库-ClickHouse
Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebr转载 2016-09-28 09:25:34 · 29802 阅读 · 4 评论 -
2014年大数据年终工作总结
今天是圣诞节,2014年马上要过去了。回顾这一年在大数据研发上的点点滴滴,总结如下三个方面:一、大数据研发技术路线 目前,存在太多的大数据技术,商业软件,如Teradata、Oracle、SAP、IBM等。开源的,如Hadoop、Spark、MPP DB、NewSQL等。在大数据领域,Hadoop呈一支独大势。经过这段时间的学习和了解,发现Hadoop技术复杂,架构复杂,社区版成熟度可能也就80%左右。要想把Hadoop玩转起来,可能需要投入巨大的成本来完善。Cloudera的CDH也仅原创 2014-12-25 10:20:35 · 7697 阅读 · 0 评论 -
Spark发布1.2.0 - 支持Netty NIO / SQL增强
Spark 1.2.0是在1.X线的第三个版本。此版本带来了Spark的核心引擎性能和可用性方面的改进,一个重要的MLlib新API,Python的扩展ML支持,一个完全高可用的Spark流模式,等等。 GraphX已经看到主要性能和API改进,已经从alpha组件毕业。Spark 1.2代表来自60多个机构的172贡献者的1000个补丁的工作。翻译 2014-12-20 13:57:36 · 2673 阅读 · 0 评论 -
盘点SQL on Hadoop中用到的主要技术
盘点SQL on Hadoop中用到的主要技术发表于1小时前|165次阅读| 来源github|0 条评论| 作者肥男爱肉转载自:http://www.csdn.net/article/2015-01-06/2823450HadoopSQL大数据架构摘要:自打Hive出现之后,SQL on Hadoop相关的系统已经百花齐放,速度越来越快,功能也越来越齐全。本文不是要去转载 2015-01-07 12:46:59 · 3748 阅读 · 0 评论 -
perconaXTRADB Cluster在Redhat Linux上的安装
installing-percona XTRADB Cluster 5.6For Redhat 6.4一、 服务器版本查看Root# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.4 (Santiago)二、 新建目录:Root#mkdir -p /softwares三、 下载RPM包1、下载XTRADB Cluster包2、下载XTRABACKUP包四、 安装依赖包1、 安装包准备2、 安原创 2014-05-09 20:38:09 · 2982 阅读 · 0 评论 -
percona XTRADB Cluster 5.6在ubuntu安装
Percona XTRADB Cluster 5.6在Ubuntu Server 14.04上的安装文档,参考了官方安装文档和国外网友的安装记录才安装成功。确保可以安装成功。原创 2014-05-09 20:46:50 · 2734 阅读 · 0 评论 -
Mysql上的RAC:Percona XtraDB Cluster负载均衡集群安装部署手册
Keepalived LVS mysql集群 Percona xtradb cluster 负载均衡原创 2014-07-03 21:32:10 · 6380 阅读 · 5 评论 -
Facebook Bigdata - Presto 0.81 版本说明
Facebook Bigdata - Presto 0.81 版本说明 http://prestodb.io/docs/current/release/release-0.81.html翻译 2014-11-10 13:21:45 · 1076 阅读 · 0 评论 -
Facebook Bigdata - Presto 0.82 版本说明
Facebook Bigdata - Presto 0.82 版本说明翻译 2014-11-10 13:33:50 · 1028 阅读 · 0 评论 -
Trafodion:Transactional SQL on HBase
HBase的SQL能力一直不足。Phoenix缺乏Join能力,eBay提出的kylin还不够简洁,facebook Presto的HBase连接器还没公开。那么,Trafodion来了。它在HBase上提供了标准SQL功能,并支持事务OLTP。Trafodion是HP的开源举措,培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案。惠普拥有超过20年的积累,针对大数据的事务或业务工作负载,已经开发事务的SQL技术进入数据库technologyand解决方案。 Trafodion给Had翻译 2014-10-24 14:44:02 · 6933 阅读 · 1 评论 -
低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI
“Ad-hoc analysis over Cassandra data with Facebook Presto”一文,对Cassandra+Presto结合实现大数据即席分析进行了介绍。Presto是为满足交互式即席查询需求而优化的分布式SQL查询引擎。它支持标准ANSI SQL,包括复杂查询,聚合,连接和窗口函数。Cassandra以前缺少交互式即席查询功能,甚至在CQL中不支持聚合函数。因为这个原因,Cassandra在作为数据库使用时经常被混淆。分析Cassandra中的数据有下边两个框架:原创 2014-10-10 18:40:22 · 8588 阅读 · 1 评论 -
中小企业的大数据技术路线选择
目前,大数据主要应用在互联网、电商领域,电信、电力行业也在逐步使用。对广大的中小企业来说,大数据也听得太多了。然而,大数据的技术门槛还是很高的。从技术路线上来说,选择大公司使用的技术方案可能是不能承受之重。 笔者所在的公司,选择的是行业通用的Hadoop方案。历经一年之久,前后三拨人员,一个Demo版还没出来。大数据真的让人望眼欲穿啊。 对中小企业而言,要选择适合自己的大数据技术路线。跟着大公司,人云亦云,还真玩不起。那么,有没有适合中小企业的大数据方案呢?笔者用心收集了几个原创 2014-11-04 10:14:45 · 4743 阅读 · 2 评论 -
Ubuntu: GlusterFS+HBase安装教程
HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上,是可行的。该方原创 2014-10-19 21:51:54 · 2209 阅读 · 0 评论 -
搭建独立大数据实验室的设想
南京第一家开放大数据实验室原创 2014-10-17 12:57:06 · 1789 阅读 · 0 评论 -
Facebook Bigdata - Presto 0.80 版本说明
Facebook Bigdata - Presto升级到0.80。本次升级主要是支持Hive ORC读取器,提供了Cassandra 2.1.0驱动支持,还提供了对大数据查询的试验性支持。原创 2014-11-05 14:16:59 · 1771 阅读 · 0 评论 -
基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL
Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群,具有足够的灵活性来处理不同的数据库工作负载: OLTP 写频繁的业务 需要MPP并行性商业智能 操作数据存储 Key-value 存储 GIS的地理空间 混合业务工作环境 多租户服务提供商托管环境原创 2014-11-07 13:56:38 · 10547 阅读 · 1 评论 -
闭关一年的干货与朋友们分享 先预告一下
闭关一年,即将出关,到时与朋友分享 先预告一下一、Pivotal HDB实战二、BI展示工具Metabase与Superset对比三、Elasticsearch在高速公路收费稽查中的应用四、Grafana在高速公路收费稽查中的应用五、OD分析的地图展示六、NoFS图片系统在高速行业中的应用前景分析原创 2017-08-16 20:55:24 · 2331 阅读 · 5 评论