分布式经典好文
小飞侠-2
我的github地址https://github.com/liujiekasini 欢迎大家分享讨论
展开
-
各种分布式文件系统简介
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Google学术论文,这是众多分布式文件系统的起源==================================Google Fil转载 2016-10-26 11:10:49 · 4892 阅读 · 1 评论 -
手把手让你实现开源企业级web高并发解决方案
本来想起个比较风趣点的标题,可想来思去,还是走常规路线,做一系列的手把手吧。这样一来,便于我的老朋友们识别,也让我对这篇文章的粒度把我有个定位。 本篇博文主要介绍利用开源的解决方案,来为企业搭建web高并发服务器架构花了一个多小时,画了张图片,希望能先帮你理解整个架构,之后我在一一介绍.linux的大型架构其实是一点点小架构拼接起来的,笔者从各个应用开始配置,最后在完全整合起来,以实现转载 2016-10-19 10:30:49 · 2478 阅读 · 0 评论 -
构建高并发高可用的电商平台架构实践
一、 设计理念 1. 空间换时间1) 多级缓存,静态化客户端页面缓存(http header中包含Expires/Cache of Control,last modified(304,server不返回body,客户端可以继续用cache,减少流量),ETag)反向代理缓存应用端的缓存(memcache)内存数据库B转载 2016-10-19 10:28:16 · 359 阅读 · 0 评论 -
当前最新it技术了解
机器学习计算机程序如何随着经验的积累提高性能深度学习深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示,自然语言处理自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言原创 2016-10-19 09:37:59 · 1917 阅读 · 0 评论 -
怎样玩转千万级别的数据
大数据处理是一个头疼的问题,特别当达不到专业DBA的技术水准时,对一些数据库方面的问题感到无赖。所以还是有必要了解一些数据库方面的技巧,当然,每个人都有自己的数据库方面的技巧,只是八仙过海,所用的武功不同而已。我把我最常用的几种方式总结来与大家分享,大家还有更多的数据库设计和优化的技巧,尽量的追加到评论中,有时一篇完整的博客评论比主题更为精彩。方法1:采用表分区技术。 第一次听转载 2016-10-18 09:39:53 · 1687 阅读 · 0 评论 -
一文读懂hadoop、hbase、hive、spark分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用于分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理,本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系请尊重原创,转载请注明来源网站www.s转载 2016-09-30 15:13:01 · 9082 阅读 · 0 评论 -
FastDFS分布文件系统
FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等等。出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场景。源码:http://sourceforge.net/projects/fastd转载 2016-10-26 11:34:44 · 455 阅读 · 0 评论 -
关于MongoDB你需要知道的几件事
Henrique Lobo Weissmann是一位来自于巴西的软件开发者,他是itexto公司的联合创始人,这是一家咨询公司。近日,Henrique在博客上撰文谈到了关于MongoDB的一些内容,其中有些观点值得我们,特别是正在和打算使用MongoDB的开发者关注。到目前为止,MongoDB在巴西是最为流行的NoSQL数据库(至少根据关于MongoDB的博客数量以及文章所判断)。Mong转载 2016-10-26 11:32:58 · 905 阅读 · 0 评论 -
互联网网站架构升级----消息中间件的实现方案
消息中间件对目前大中型互联网来说是非常重要的,在业务数据流动中仅次于RPC服务调用,担负着越来越复杂的网站业务从主流程上解耦的重要责任; 从目前互联网对消息中间件的需求来看应该分为两种类型,一种是和钱相关的需求,一种是和钱无关的需求;和钱相关的需求消息的可靠性是放在第一位的,和钱无关的需求是速度放在第一位的,但这两种需求又是矛盾的,很难设计出一种既可靠又高效的系统,除非将两套方案捏合转载 2016-10-26 11:31:59 · 760 阅读 · 0 评论 -
服务过程中会遇到的问题
服务化,也可以叫SOA,但在我们还是尽量避免用这个词, 因为它被炒得太热,一味的套SOA的概念,容易迷失原有的方向。 要向服务化推进,当然就需要搭建一些基础设施,来协助这个过程的实现, 那都有哪个方面的工作要做呢,这里把我暂时想到的列一列。 1. 服务的定义 服务提供者要怎么暴露一个服务?服务消费者要怎么引用一个服务? 肯定需要一个声明式服务定义框架,可以用注解转载 2016-10-26 11:31:19 · 1496 阅读 · 0 评论 -
微博平台的RPC服务化实践
2014年第一分钟,新浪微博的发布量以808298条再次刷新记录,第一秒微博发布量相较去年提升55%。(数据来源:新浪科技 )这是微博平台 RPC 框架 “Motan” 上线后第一次抗峰值,整体表现平稳,基本达到最初的“应用方无感知”的目标。在RPC服务化这个事情上,微博平台不是第一个吃螃蟹的:早的有亚马逊和eBay等国外先驱,近的有Twitter的finagle,淘宝的dubbo等等转载 2016-10-26 11:30:47 · 835 阅读 · 0 评论 -
关于分布式系统的数据一致性问题
现在先抛出问题,假设有一个主数据中心在北京M,然后有成都A,上海B两个地方数据中心,现在的问题是,假设成都上海各自的数据中心有记录变更,需要先同步到主数据中心,主数据中心更新完成之后,在把最新的数据分发到上海,成都的地方数据中心A,地方数据中心更新数据,保持和主数据中心一致性(数据库结构完全一致)。数据更新的消息是通过一台中心的MQ进行转发。先把问题简单化处理,假设A增加一条记录M转载 2016-10-26 11:29:55 · 1448 阅读 · 0 评论 -
大数据时代的 9 大Key-Value存储数据库
在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了 TB 量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。 一个解决方案是使用键值(Key-Value)存储数据库,这是一种 NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV 存储非常适合不涉及过多数据关系业务关系的业转载 2016-10-26 11:29:24 · 654 阅读 · 0 评论 -
Avro简介
一、引言1、 简介Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集转载 2016-10-26 11:28:55 · 411 阅读 · 0 评论 -
JVM日志和参数的理解
转自:http://hot66hot.iteye.com/blog/2075819写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助. 一:理解GC日志格式,读GC日志的方法1:开启日志-verbose:gc -XX:+PrintGCDetails -XX:+Pr转载 2016-10-26 11:28:03 · 2019 阅读 · 0 评论 -
日志分析方法概述
日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同,很难一概而论。本文讨论的日志处理方法中的日志,仅指Web日志。其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志。在Web日志中,每条日转载 2016-10-26 11:26:44 · 473 阅读 · 0 评论 -
MySQL在大型网站的应用架构演变
可扩展性架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种:Scale-up : 纵向扩展,通过替换为更好的机器和资源来实现伸缩,提升服务能力Scale-out : 横向扩展, 通过加节点(机器)来实现伸缩,提升服务能力对于互联网的高并发应用来说,无疑Scale out才是出路,通转载 2016-10-26 11:26:19 · 604 阅读 · 0 评论 -
一分钟了解mongodb
一分钟了解mongodbmongo的由来截取自英文俚语humongous,意为”巨大的”,是否表明mongodb在设计之初就是为大数据量处理而生呢?mongodb是个啥mongodb是个可扩展、高性能、开源、面向文档(document-oriented)的数据库,由c++实现。http://www.mongodb.org/ 官网首页最显著的位置用了”agile”和”sc转载 2016-10-26 11:23:51 · 681 阅读 · 0 评论 -
保证分布式系统数据一致性的6种方案
问题的起源在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性? 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说,如果不想牺牲一致性,CAP 理论告诉我们只能放弃可用性,这显然不能接受。为了便于讨论问题,先简单转载 2017-01-13 09:14:26 · 2434 阅读 · 0 评论