分布式
zdy0_2004
这个作者很懒,什么都没留下…
展开
-
微服务~分布式事务里的最终一致性
http://www.cnblogs.com/lori/p/7646940.html本地事务ACID大家应该都知道了,统一提交,失败回滚,严格保存了同一事务内数据的一致!而分布式事务不能实现这种ACID,它只能实现CAP原则里的某两个,CAP也是分布式事务的一个广泛被应用的原型,CAP(Consistency, Availability, Partition Toler转载 2017-10-10 22:11:23 · 445 阅读 · 0 评论 -
Storm集群的DRPC模式
Storm集群的DRPC模式 storm的DRPC模式的作用是实现从远程调用storm集群的计算资源,而不需要连接到集群的某一个节点。OK。那么storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子,它的源码的github上。1234567转载 2015-03-07 20:18:31 · 685 阅读 · 0 评论 -
jedis
什么是RedisRedis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。Memcached和RedisMemcached的基本应用模型如下图所示:red转载 2015-03-08 22:21:26 · 1054 阅读 · 0 评论 -
HBase 高性能加入数据 - 按批多“粮仓”式解决办法
HBase 高性能加入数据 - 按批多“粮仓”式解决办法 摘要:如何从HBase中的海量数据中,以很快的速度的获取大批量数据,这一议题已经在《HBase 高性能获取数据》(http://www.cnblogs.com/wgp13x/p/4245182.html)一文中给出了解决办法。那么,如何向HBase中高性能的插入数据呢?经研究表明,光是批量写入也还转载 2015-03-07 20:21:19 · 664 阅读 · 0 评论 -
自动加载缓存框架
自动加载缓存框架http://my.oschina.net/u/1469495/blog/380865摘要 现在使用的缓存技术很多,比如Redis、 Memcache、EhCache等,甚至还有使用ConcurrentHashMap 或 HashTable 来实现缓存。但在缓存的使用上,每个人都有自己的实现方式,大部分是直接与业务代码绑定,随着业务的变化,要更换缓存转载 2015-03-01 18:50:25 · 634 阅读 · 0 评论 -
使用Storm实现实时大数据分析!
使用Storm实现实时大数据分析!rm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量,实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm —— Twitter开发,通常被转载 2015-02-13 23:51:18 · 565 阅读 · 0 评论 -
使用Storm实现实时大数据分析!
使用Storm实现实时大数据分析!简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量,实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm ——转载 2015-02-13 23:58:46 · 403 阅读 · 0 评论 -
大数据架构师:hadoop、Storm该选哪一个?
阅读下面可以带着下面问题:如果hadoop、Storm还感觉混要,那么此篇文章将帮助你把他们完全区分可以带着下面问题来阅读本文章:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;S转载 2015-02-13 23:57:10 · 675 阅读 · 0 评论 -
天机镜——优土大数据平台应用级别监控利器
天机镜——优土大数据平台应用级别监控利器http://www.cnblogs.com/colorfulkoala/p/4333103.html上古十大神器之一天机镜:天机镜又名昆仑镜。昆仑山西王母所有,能洞察天机,知晓古今! 1. 动机 在业务系统开发的前期,我们往往只专注到业务逻辑,而忽略了对系统本身的监控。 对硬件资源的监控运维同学提供的ganglia转载 2015-03-13 23:59:57 · 1462 阅读 · 0 评论 -
分布式存储hadoop
分布式存储hadoop在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还转载 2015-02-12 22:29:06 · 773 阅读 · 0 评论 -
RabbitMQ入门(2)
RabbitMQ入门(2)http://my.oschina.net/OpenSourceBO/blog/379735目录[-]工作队列(使用Java客户端)准备循环分派消息确认消息持久化公平分发把它们放在一起工作队列(使用Java客户端) 在这第一指南部分,我们写了通过同一命名的队列发转载 2015-02-26 01:14:09 · 437 阅读 · 0 评论 -
分布算法之一致性哈希算法
http://www.cnblogs.com/zhenbianshu/p/5058703.html在进行大型网站的web开发时,分布式这个词经常出现在我们面前。如:memcache、redis服务器等缓存服务器的负载均衡(分布式cache),MySQL的分布式集群(分布式DB),大量session的共享存储(分布式文件,或session服务器等),这些都会用到分布式的思想,转载 2015-12-19 10:35:29 · 1658 阅读 · 0 评论 -
高并发分布式系统中生成全局唯一Id汇总
http://www.cnblogs.com/baiwa/p/5318432.html数据在分片时,典型的是分库分表,就有一个全局ID生成的问题。单纯的生成全局ID并不是什么难题,但是生成的ID通常要满足分片的一些要求: 1 不能有单点故障。 2 以时间为序,或者ID里包含时间。这样一是可以少一个索引,二是冷热数据容易分离。 3 可以控制Shar转载 2016-03-25 12:34:38 · 2055 阅读 · 0 评论 -
分布式锁1 Java常用技术方案
http://www.cnblogs.com/PurpleDream/p/5559352.html转自:http://www.cnblogs.com/PurpleDream/p/5559352.html 前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些转载 2016-06-05 22:54:18 · 434 阅读 · 0 评论 -
分布式系统中生成全局ID的总结与思考
http://www.cnblogs.com/xybaby/p/7616272.html目录自增ID携带时间与空间信息的IDUUID MongoDB ObjectId结构化ID思考TFS文件名总结references 正文 世间万物,都有自己唯一的标识,比如人,每个人都有自己的指纹(白夜追转载 2017-10-03 10:36:08 · 411 阅读 · 0 评论 -
分布式一致性算法:Raft 算法(论文翻译)
http://www.cnblogs.com/linbingdong/p/6442673.htmlRaft 算法是可以用来替代 Paxos 算法的分布式一致性算法,而且 raft 算法比 Paxos 算法更易懂且更容易实现。本文对 raft 论文进行翻译,希望能有助于读者更方便地理解 raft 的思想。如果对 Paxos 算法感兴趣,可以看我的另一篇文章:分布式系列文章——转载 2017-02-25 21:34:00 · 2630 阅读 · 0 评论 -
【分布式】Zookeeper数据与存储
http://www.cnblogs.com/leesf456/p/6179118.html一、前言 前面分析了Zookeeper对请求的处理,本篇博文接着分析Zookeeper中如何对底层数据进行存储,数据存储被分为内存数据存储于磁盘数据存储。二、数据与存储 2.1 内存数据 Zookeeper的数据模型是树结构,在内存数据库中,存储了整棵树的内容,包括所有转载 2016-12-17 19:12:21 · 4350 阅读 · 0 评论 -
【分布式】Zookeeper请求处理
http://www.cnblogs.com/leesf456/p/6140503.html一、前言 在前面学习了Zookeeper中服务器的三种角色及其之间的通信,接着学习对于客户端的一次请求,Zookeeper是如何进行处理的。二、请求处理 2.1 会话创建请求 Zookeeper服务端对于会话创建的处理,大体可以分为请求接收、会话创建、预处理、事务处理、事务应用转载 2016-12-13 22:45:24 · 506 阅读 · 0 评论 -
VIPServer:阿里智能地址映射及环境管理系统详解
http://geek.csdn.net/news/detail/110586作者: 周遥,阿里技术专家,花名玄胤,毕业于四川大学。六年大型分布式与中间件系统经验,三项国家专利,参加过多次“双十一”。2013年从零开始带出VIPServer,目前已成为集团环境管理与路由的标准。 王建伟,阿里巴巴工程师,花名正己,西北工业大学计算机学院硕士毕业。目前在阿里中间件技术部转载 2016-10-27 13:12:23 · 8568 阅读 · 0 评论 -
分布式锁的几种实现方式
转自:http://www.hollischuang.com/archives/1716目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。转载 2016-11-07 20:20:36 · 10923 阅读 · 1 评论 -
分布式系统理论进阶 - Raft、Zab
http://www.cnblogs.com/bangerlee/p/5991417.html《分布式系统理论进阶 - Paxos》介绍了一致性协议Paxos,今天我们来学习另外两个常见的一致性协议——Raft和Zab。通过与Paxos对比,了解Raft和Zab的核心思想、加深对一致性协议的认识。 RaftPaxos偏向于理论、对如何应用到工程实践提及较少。理解的难转载 2016-10-26 23:30:41 · 623 阅读 · 0 评论 -
【分布式】一致性协议
http://www.cnblogs.com/leesf456/p/6001278.html一、前言 继续前面的学习,这篇我们来学习在分布式系统中最重要的一块,一致性协议,其中就包括了大名鼎鼎的Paxos算法。二、2PC与3PC 在分布式系统中,每一个机器节点虽然能够明确知道自己在进行事务操作过程中的结果是成功或是失败,但是却无法直接获取到其他分布式节点的操转载 2016-10-26 23:25:18 · 415 阅读 · 0 评论 -
分布式系统理论基础 - 选举、多数派和租约
http://www.cnblogs.com/bangerlee/p/5767845.html选举(election)是分布式系统实践中常见的问题,通过打破节点间的对等关系,选得的leader(或叫master、coordinator)有助于实现事务原子性、提升决议效率。 多数派(quorum)的思路帮助我们在网络分化的情况下达成决议一致性,在leader选举的场景下帮助我们选出唯转载 2016-08-21 22:25:01 · 867 阅读 · 0 评论 -
关于高可用的系统
http://coolshell.cn/articles/17459.html2016年8月21日陈皓 在《这多年来我一直在钻研的技术》这篇文章中,我讲述了一下,我这么多年来一直在关注的技术领域,其中我多次提到了工业级的软件,我还以为有很多人会问我怎么定义工业级?以及一个高可用性的软件系统应该要怎么干出来?这样我也可以顺理成章的写下这篇文章,但是没有人问,转载 2016-08-21 22:21:01 · 1027 阅读 · 0 评论 -
RabbitMQ入门(5)
RabbitMQ入门(5)摘要 RabbitMQ,RabbitMQ入门目录[-]主题(topic)(使用Java客户端)topic类型交易所把所有放在一起主题(topic)(使用Java客户端)在先前的指南中我们改进了我们的日志系统。取代使用fanout类型的交易所,那个仅仅有能力实现哑的广播,我们使用一个转载 2015-02-26 01:25:38 · 382 阅读 · 0 评论 -
RabbitMQ入门(1)
RabbitMQ入门(1)http://my.oschina.net/OpenSourceBO/blog/379732摘要 RabbitMQ入门,RabbitMQ目录[-]“Hello World”(使用java客户端)发送接收把所有放在一起前面声明本文都是RabbitMQ的官方指南翻译过来的,由于本人水平有限转载 2015-02-26 01:13:05 · 486 阅读 · 0 评论 -
HBase入门篇
HBase入门篇 目录:1-HBase的安装2-Java操作HBase例子3-HBase简单的优化技巧4–存储5(集群) -压力分载与失效转发6 -白话MySQL(RDBMS)与HBase之间7 -安全&权限1-HBase的安装HBase是什么?HBase是Apac转载 2015-02-17 10:41:55 · 503 阅读 · 0 评论 -
分布式系统 并不是我想象中的那样!
分布式系统 并不是我想象中的那样!过去两个月深入的参与了一个分布式系统的开发,记得之前有人说过“想成为架构师之前,都是从微观架构开始的”。尽管我从没想过将来的某一天要成为一个架构师,或者领域专家,我只是想萌萌哒的编码,写着自己喜欢的Code,和一群志同道合的朋友做出大家喜欢的商品和产品。前言过去两个月深入的参与了一个分布式系统的开发,记得之前有人说过“想成为架构师之前,转载 2015-02-17 02:01:55 · 532 阅读 · 0 评论 -
RabbitMQ 的基本概念
本文是 OpenStack 中的 RabbitMQ 使用研究 两部分中的第一部分,将介绍 RabbitMQ 的基本概念,即 RabbitMQ 是什么。第二部分将介绍其在 OpenStack 中的使用。 http://www.cnblogs.com/sammyliu/p/4293011.html1 RabbitMQ 的基本概念RabbitMQ 是实现了高级消息队列协议(AMQ转载 2015-02-17 09:50:56 · 665 阅读 · 0 评论 -
四层和七层负载均衡的区别
四层和七层负载均衡的区别负载均衡方案应是在网站建设初期就应考虑的问题,不过有时随着访问流量的爆炸性增长,超出决策者的意料,这也就成为不得不面对的问题。当我们在引入某种负载均衡方案乃至具体实施时,像其他的许多方案一样,首先是确定当前及将来的应用需求,然后在代价与收效之间做出权衡。(一)简单理解四层和七层负载均衡:① 所谓四层就是基于IP+端口的负载均衡;七层就转载 2015-02-17 01:51:30 · 455 阅读 · 0 评论 -
Storm - 大数据Big Data实时处理架构
Storm - 大数据Big Data实时处理架构什么是Storm?Storm是:• 快速且可扩展伸缩• 容错• 确保消息能够被处理• 易于设置和操作• 开源的分布式实时计算系统- 最初由Nathan Marz开发- 使用Java 和 Clojure 编写Storm和Hadoop主要区别是实时和批处理的区别: Storm概念 组成:Spout 和Bolt组成Topology。Tuple是S转载 2015-02-17 10:50:39 · 758 阅读 · 0 评论 -
RabbitMQ
http://lynnkong.iteye.com/blog/16996841 什么是RabbitMQ?RabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然: 单向解转载 2015-02-17 10:07:54 · 539 阅读 · 0 评论 -
一种可以避免数据迁移的分库分表scale-out扩容方式
http://www.cnblogs.com/tommyli/p/3767362.html一种可以避免数据迁移的分库分表scale-out扩容方式原文地址:http://jm-blog.aliapp.com/?p=590目前绝大多数应用采取的两种分库分表规则mod方式dayofweek系列日期方式(所有星期1的数据在一个库/表,或所有?月份的数据在一个库转载 2015-02-18 02:09:43 · 591 阅读 · 0 评论 -
大数据实时处理:百分点实时计算架构和算法
大数据实时处理:百分点实时计算架构和算法http://www.oschina.net/question/1459174_145255当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时获取价值则更加昂贵,这正是大数据实时计算越来越流行的原因。以百分点公司为例,在高峰期每秒钟会有近万HTTP请求发送到百分点服务器上,这些请求包含了用户行为和个性化推荐请求。转载 2015-02-17 10:28:23 · 1187 阅读 · 0 评论 -
关于大型网站技术演进的思考(八)--存储的瓶颈终篇(8)
在开始本篇主要内容前,我们一起看看下面的几张截图,首先是第一张图,如下图所示: 这是一家电商网站的首页,当我们第一次打开这个首页,网站会弹出一个强制性的对话框,让用户选择货物配送的地址,如果是淘宝和京东的话,那么这个选择配货地址的选项是在商品里,如下图是淘宝的选择配送地点: 下图是京东选择配货地点: 那么图一跟京东和淘宝有什么区别呢?图一转载 2015-02-08 21:17:43 · 1002 阅读 · 0 评论 -
关于大型网站技术演进的思考(七)--存储的瓶颈(7)
关于大型网站技术演进的思考(七)--存储的瓶颈(7) 本文开篇提个问题给大家,关系数据库的瓶颈有哪些?我想有些朋友看到这个问题肯定会说出自己平时开发中碰到了一个跟数据库有关的什么什么问题,然后如何解决的等等,这样的答案没问题,但是却没有代表性,如果出现了一个新的存储瓶颈问题,你在那个场景的处理经验可以套用在这个新问题上吗?这个真的很难说。 其实不管什么样的问题场景最后解转载 2015-02-08 21:14:57 · 350 阅读 · 0 评论 -
分布式内存文件系统:Tachyon
Tachyonhttp://www.open-open.com/lib/view/open1409754088791.htmlTachyon是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件,落地到分布式内存转载 2015-02-23 23:48:21 · 570 阅读 · 0 评论 -
storm的八种Grouping策略
storm的八种Grouping策略http://www.cnblogs.com/UUhome/p/4298755.html 在这里,将会提到storm的七种grouping策略,并且编码逐一实现。 首先,需要一个集群(希望尽量模仿真实环境,故就不用本地模式了)。详细的安装方法大家可以查看本人的另外一篇博文:storm集群和zookeeper集群的部署转载 2015-02-25 00:18:58 · 4619 阅读 · 0 评论 -
Apache HBase v1.0 发布,分布式数据库
Apache HBase v1.0 发布,分布式数据库http://www.oschina.net/news/59973/apache-hbase-1-0Apache HBase v1.0 发布了,这是 HBase 一个主要的里程碑。1.0 版本经过 7 年的开发,有超过 1500 次的更改和升级。与上一个版本 0.98.0 比较,1.0 版本值得关注的改进有:转载 2015-02-26 13:46:48 · 560 阅读 · 0 评论 -
Google 开源 C/C++ 版 MapReduce 框架
Google 开源 C/C++ 版 MapReduce 框架http://www.oschina.net/news/59911/google-opensource-cpp-mapreduce据GigaOM消息,Google上周宣布,将自己用C++开发的MapReduce框架MapReduce for C(MR4C)开源,此举可给Hadoop社区带来福音,因为这样用户就可转载 2015-02-24 19:26:12 · 795 阅读 · 0 评论