系统架构
山水佳音
来自千古龙飞地,关注互联网,大数据、数据仓库及创新应用。
展开
-
外贸B2C网站架构升级-从单服务器到服务器集群
最近,帮朋友把网站架构调整了一下,从单服务器调整到5台服务器集群。朋友的网站是做外贸女装B2C的,前面租用的亚马逊的云主机。系统架构如下: 这样的系统架构,不支持负载均衡、HA和可扩展性。亚马逊云主机内部流量带宽有限制,并算入资费流量。因此,准备改用如下架构: 采用的softlayer的服务器,构建Web服务器集群,实现负载均衡和HA;DB采用Mysql+DRBD+Ke原创 2012-06-06 14:52:54 · 2303 阅读 · 1 评论 -
中小企业的大数据技术路线选择
目前,大数据主要应用在互联网、电商领域,电信、电力行业也在逐步使用。对广大的中小企业来说,大数据也听得太多了。然而,大数据的技术门槛还是很高的。从技术路线上来说,选择大公司使用的技术方案可能是不能承受之重。 笔者所在的公司,选择的是行业通用的Hadoop方案。历经一年之久,前后三拨人员,一个Demo版还没出来。大数据真的让人望眼欲穿啊。 对中小企业而言,要选择适合自己的大数据技术路线。跟着大公司,人云亦云,还真玩不起。那么,有没有适合中小企业的大数据方案呢?笔者用心收集了几个原创 2014-11-04 10:14:45 · 4819 阅读 · 2 评论 -
Ubuntu: GlusterFS+HBase安装教程
HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上,是可行的。该方原创 2014-10-19 21:51:54 · 2241 阅读 · 0 评论 -
Facebook Bigdata - Presto 0.80 版本说明
Facebook Bigdata - Presto升级到0.80。本次升级主要是支持Hive ORC读取器,提供了Cassandra 2.1.0驱动支持,还提供了对大数据查询的试验性支持。原创 2014-11-05 14:16:59 · 1800 阅读 · 0 评论 -
搭建独立大数据实验室的设想
南京第一家开放大数据实验室原创 2014-10-17 12:57:06 · 1820 阅读 · 0 评论 -
盘点SQL on Hadoop中用到的主要技术
盘点SQL on Hadoop中用到的主要技术发表于1小时前|165次阅读| 来源github|0 条评论| 作者肥男爱肉转载自:http://www.csdn.net/article/2015-01-06/2823450HadoopSQL大数据架构摘要:自打Hive出现之后,SQL on Hadoop相关的系统已经百花齐放,速度越来越快,功能也越来越齐全。本文不是要去转载 2015-01-07 12:46:59 · 3781 阅读 · 0 评论 -
Spark发布1.2.0 - 支持Netty NIO / SQL增强
Spark 1.2.0是在1.X线的第三个版本。此版本带来了Spark的核心引擎性能和可用性方面的改进,一个重要的MLlib新API,Python的扩展ML支持,一个完全高可用的Spark流模式,等等。 GraphX已经看到主要性能和API改进,已经从alpha组件毕业。Spark 1.2代表来自60多个机构的172贡献者的1000个补丁的工作。翻译 2014-12-20 13:57:36 · 2705 阅读 · 0 评论 -
2014年大数据年终工作总结
今天是圣诞节,2014年马上要过去了。回顾这一年在大数据研发上的点点滴滴,总结如下三个方面:一、大数据研发技术路线 目前,存在太多的大数据技术,商业软件,如Teradata、Oracle、SAP、IBM等。开源的,如Hadoop、Spark、MPP DB、NewSQL等。在大数据领域,Hadoop呈一支独大势。经过这段时间的学习和了解,发现Hadoop技术复杂,架构复杂,社区版成熟度可能也就80%左右。要想把Hadoop玩转起来,可能需要投入巨大的成本来完善。Cloudera的CDH也仅原创 2014-12-25 10:20:35 · 7739 阅读 · 0 评论 -
重大新闻:Hadoop 2.6.0发布 - 支持硬盘、SSD、内存分层存储
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YAR翻译 2014-12-15 11:45:06 · 4561 阅读 · 0 评论 -
星环科技CTO孙元浩:统一、廉价、实时、融合,2015大数据趋势
星环科技CTO孙元浩:统一、廉价、实时、融合,2015大数据趋势摘要:星环科技CTO孙元浩的演讲主题是“2015年大数据基础技术的演进趋势”。期间,他分享了Spark的一个数据:全球已有近50家企业围绕Spark提供产品和服务,11家提供商业Spark版本。【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,转载 2014-12-15 12:56:28 · 2070 阅读 · 0 评论 -
Presto实现原理和美团的使用实践
Presto实现原理和美团的使用实践 转载自:http://tech.meituan.com/presto.html木叶丸 本文已发表在《程序员》2014.6月刊2014-06-16 10:45Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师转载 2015-01-05 14:09:32 · 1762 阅读 · 0 评论 -
中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。前面用两个月的时间验证了Presto JDBC驱动、Prestogres和SHIB三种方案。Prestogres,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bi原创 2015-03-16 14:21:49 · 3803 阅读 · 2 评论 -
融合了大数据、搜索引擎及SQL的敏捷大数据方案bigdata 3.0:Presto+Elasticsearch
在bigdata 1.0时代,以hadoop为代表的大数据技术在企业数据仓库架构中起到的只是配角作用,只是完成数据批处理,处理好的数据还是放入传统的RDBMS中,由BI完成展示。这称为混合架构。对即时的数据流,提供了kafka+Storm的解决方案。既无法实现BI和bigdata的无缝对接,也无法进行流数据和大数据关联分析。这应该是一种不得已而为之的方案。 当很多用户刚开始对bigdata 1.0有所了解的时候,bigdata 2.0已经迅速到来。bigdata 2.0主要就是实现了SQL on bi原创 2016-02-11 21:08:58 · 10816 阅读 · 1 评论 -
论big data 3.0取代SAP HANA的可行性
论big data 3.0取代SAP HANA的可行性 简言之,big data 3.0就是要实现SQL on big data,而且要兼顾性能、易用性和可扩展性。目前是“搜索引擎+大数据+SQL“这样一个融合为一体的趋势。本人参加过HANA培训,了解过SAP HANA实施项目,目睹了企业所经历的一个个坑,也很不认同SAP惟利是图的商业模式。但HANA的确是个好东西,就易用性来说就需要开源的大数据好好学习。HANA虽好,但太贵,开放性不好,扩展性是个大问题,不适合处理大数据;开源大数据,覆盖了80%HA原创 2016-06-14 14:05:47 · 1691 阅读 · 0 评论 -
彪悍开源的分析数据库-ClickHouse
Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebr转载 2016-09-28 09:25:34 · 29852 阅读 · 4 评论 -
低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI
“Ad-hoc analysis over Cassandra data with Facebook Presto”一文,对Cassandra+Presto结合实现大数据即席分析进行了介绍。Presto是为满足交互式即席查询需求而优化的分布式SQL查询引擎。它支持标准ANSI SQL,包括复杂查询,聚合,连接和窗口函数。Cassandra以前缺少交互式即席查询功能,甚至在CQL中不支持聚合函数。因为这个原因,Cassandra在作为数据库使用时经常被混淆。分析Cassandra中的数据有下边两个框架:原创 2014-10-10 18:40:22 · 9220 阅读 · 1 评论 -
Facebook Bigdata - Presto 0.82 版本说明
Facebook Bigdata - Presto 0.82 版本说明翻译 2014-11-10 13:33:50 · 1038 阅读 · 0 评论 -
Facebook Bigdata - Presto 0.81 版本说明
Facebook Bigdata - Presto 0.81 版本说明 http://prestodb.io/docs/current/release/release-0.81.html翻译 2014-11-10 13:21:45 · 1105 阅读 · 0 评论 -
从DDOS说起:最优的服务器集群方案-PaceMaker
PaceMaker网址:http://www.clusterlabs.org/ 前面一个客户说他们网站遇到了DDOS CC攻击,所以在新网站架构上就特别强调这个问题。我们原来的设计的方案如下: 这样Web负载均衡方案不能使用LVS、和IDC服务商的本地均衡服务了。LVS对网络环境要求太严苛,HAProxy流量集中在一台服务器上,达不到负载均衡的目的。为了抵原创 2012-06-06 17:34:57 · 2636 阅读 · 0 评论 -
实时数据分析平台、大数据分析、MPP数据仓库 - vertica (一)分析平台
数据分析平台分析平台实时加载 & 查询高级库内分析数据设计 & 管理工具列式存储 & 执行强劲的数据压缩扩展的MPP架构自动的高可用性优化器, 执行引擎 & 负载管理内在的 BI, ETL, & Hadoop/MapReduce 集成 Vertica的分析平台为特定目的建造的,以使公司从他们的数据中提取价值,他们需要在今天的经济环境中茁壮成长的速度和规模。翻译 2012-10-12 11:47:35 · 6155 阅读 · 0 评论 -
实时数据分析平台、大数据分析、MPP数据仓库 - vertica (二)实时加载 & 查询
今天,世界各地的信息是连续产生的。因此,隔夜批量加载数据已经成为奢侈的过去。组织必须能够不停顿地加载到信息到他们的分析平台,同时允许进行数据丰富的分析。 信息的时间价值是非常重要的,在数据产生后,用户越早处理就越有价值。对于零售商来说,这可能意味着即时的促销和库存的摆放。对于金融公司,这会影响到及时的交易决策。对于网络游戏公司,这提供了更加个性化和引人入胜的游戏体验。这个最小延迟的翻译 2012-10-12 20:16:26 · 5099 阅读 · 0 评论 -
实时数据分析平台、大数据分析、MPP数据仓库 - vertica (三)高级库内分析
Vertica的提供了一个强大和不断增长的先进的数据库内分析功能,客户可以进行数据紧密的分析计算,并可以从一个地方立即得到答案,而不需要把信息抽取到一个单独的环境。把数据保持在数据库中是特别关键的,因为数据集的大小从TB到PB级及以后的变化。 更重要的是,Vertica的原生解析函数和UDF还专门设计可以充分利用我们独特的MPP并行机制,列存储和执行,比其他任何平台上执行得更翻译 2012-10-21 21:54:27 · 3510 阅读 · 0 评论 -
浅谈伪分布式数据库架构
转自:http://www.uml.org.cn/zjjs/201207312.asp作者:Eugene ,发布于2012-7-31 大家上午好!很多公司都在开发自己的分布式数据库架构,且不少公司都可能使用上了,也有很多人在讲分布式数据库架构,这些是真正意义上的分布式数据库吗?若要我加一个词的话, 我一般说伪分转载 2013-08-13 14:18:13 · 1801 阅读 · 0 评论 -
笨兔兔的故事——带你了解Ubuntu,了解Linux
【内容导航】第1页:开端第2页:醒来第3页:工作第4页:历史第5页:也是历史第6页:还是历史第7页:串门第8页:碎片第9页:邻居第10页:人才第11页:来头第12页:本事第13页:开源第14页:故事第15页:minix第16页:(16) linux第17页:F转载 2014-04-29 15:40:34 · 1345 阅读 · 0 评论 -
移动基于Percona XTRADB Cluster的大数据解决方案
最近因为“棱镜门”事件的曝光,引起了国家对信息安全问题的注意,各大行业也开展起来去“IOE”的行动。对移动而言, 一方面是对信息安全的担心,另一方面是对降低成本的考量,对开源体系架构的引入也成为一种现实的方案。 在互联网行业,MySQL的使用成为主流,但随着Oracle对Sun的收购,MySQL的控制权落入Oracle手中,对MySQL可能闭源的风险也成为业界的共识。 由此,产生了各种MySQL的分支。本文主要对其中的PerconaXtraDB进行了分析。原创 2014-05-16 16:38:04 · 10972 阅读 · 2 评论 -
perconaXTRADB Cluster在Redhat Linux上的安装
installing-percona XTRADB Cluster 5.6For Redhat 6.4一、 服务器版本查看Root# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.4 (Santiago)二、 新建目录:Root#mkdir -p /softwares三、 下载RPM包1、下载XTRADB Cluster包2、下载XTRABACKUP包四、 安装依赖包1、 安装包准备2、 安原创 2014-05-09 20:38:09 · 3010 阅读 · 0 评论 -
percona XTRADB Cluster 5.6在ubuntu安装
Percona XTRADB Cluster 5.6在Ubuntu Server 14.04上的安装文档,参考了官方安装文档和国外网友的安装记录才安装成功。确保可以安装成功。原创 2014-05-09 20:46:50 · 2742 阅读 · 0 评论 -
Mysql上的RAC:Percona XtraDB Cluster负载均衡集群安装部署手册
Keepalived LVS mysql集群 Percona xtradb cluster 负载均衡原创 2014-07-03 21:32:10 · 6410 阅读 · 5 评论 -
基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL
Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群,具有足够的灵活性来处理不同的数据库工作负载: OLTP 写频繁的业务 需要MPP并行性商业智能 操作数据存储 Key-value 存储 GIS的地理空间 混合业务工作环境 多租户服务提供商托管环境原创 2014-11-07 13:56:38 · 10580 阅读 · 1 评论 -
Trafodion:Transactional SQL on HBase
HBase的SQL能力一直不足。Phoenix缺乏Join能力,eBay提出的kylin还不够简洁,facebook Presto的HBase连接器还没公开。那么,Trafodion来了。它在HBase上提供了标准SQL功能,并支持事务OLTP。Trafodion是HP的开源举措,培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案。惠普拥有超过20年的积累,针对大数据的事务或业务工作负载,已经开发事务的SQL技术进入数据库technologyand解决方案。 Trafodion给Had翻译 2014-10-24 14:44:02 · 6985 阅读 · 1 评论 -
闭关一年的干货与朋友们分享 先预告一下
闭关一年,即将出关,到时与朋友分享 先预告一下一、Pivotal HDB实战二、BI展示工具Metabase与Superset对比三、Elasticsearch在高速公路收费稽查中的应用四、Grafana在高速公路收费稽查中的应用五、OD分析的地图展示六、NoFS图片系统在高速行业中的应用前景分析原创 2017-08-16 20:55:24 · 2356 阅读 · 5 评论