Distributed and Parallel
文章平均质量分 63
kevin_darkelf
这个作者很懒,什么都没留下…
展开
-
Google On Latency Tolerant Systems: Making A Predictable Whole Out Of Unpredictable Parts
In Taming The Long Latency Tail we covered Luiz Barroso’s exploration of the long tail latency (some operations are really slow) problems generated by large fanout architectures (a request is composed of potentially thousands of other requests). You may ha转载 2022-06-12 20:46:28 · 334 阅读 · 0 评论 -
Dapr, the hard way
Dapr, the hard way#dapr#kubernetes#distributedsystemsJosé Miguel Parrella2020年2月13日・7 min readThis weekend I wanted to catch up withDapr, the Distributed Application Runtime. As a sysadmin by trade, I have little knowledge of application model th...转载 2021-05-15 17:33:42 · 231 阅读 · 0 评论 -
dapr
版本发布与简介:https://www.infoq.cn/article/m1hMST70ck2VB3GKNM39官网:https://docs.dapr.io/ github:https://github.com/dapr/dapr/releases/tag/v1.0.0原创 2021-02-22 15:19:49 · 317 阅读 · 1 评论 -
分布式锁
分布式锁资源互斥可用墙上时间有效租期session的有效时间,client 一定比server小, 由client 主动发起续租,避免机器之间时间漂移 而无法严格对对齐的问题切换时间client 与server 的HB 间隔比较长,带来的问题是 client 因故障没有主动释放锁,那其它的锁竞争者(client) 只能等到 session 超时才会重新抢锁。在一些应用场景下对服务可用性有不小的不利影响。反之,虽然锁切换时间变短,但对于server 会产生较大的压力,也可能因网络短原创 2020-06-18 14:24:45 · 203 阅读 · 0 评论 -
微服务框架比较
分类单机版只算是整个微服务实例的可执行程序,RPC框架。 如grpc, brpc, dii, 有些支持多语言开发带服务治理,单一语言如 Java的Spring Cloud, dubboService Mesh通sidecar 解决多语言通信,如 Linkerd和ISTIO 。其实多语言通信,只要各语言都使用相同的协议,也就可以通信。如 java和c++的服务都使用http,或者pb。 service mesh更大的好处是在于…带服务治理,支持多语言的框架,是serverless 的基础原创 2020-05-27 15:00:05 · 303 阅读 · 0 评论 -
k8s operator
Operator 的设计旨在简化复杂有状态应用管理,其通过CRD扩展 Kubernetes API 来自动创建、管理和配置应用实例。其本质上是针对特定的场景去做有状态服务,或者说针对复杂应用场景,去简化其运维管理的工具。Operator以deployment的形式部署到K8S中。部署完这个Operator之后,想要部署一个集群,其实很方便。因为不需要再去管理这个集群的配置信息了,只需要创建一个C...原创 2020-04-16 13:48:13 · 1120 阅读 · 0 评论 -
source to url
refOrchestrate a source-to-url deployment on a private cloud instance原创 2020-03-27 19:40:35 · 192 阅读 · 0 评论 -
服务过载和策略
k8s: Overloaded API servers (sending 429) never cause clients to rebalance #48610原创 2020-03-09 14:32:08 · 211 阅读 · 0 评论 -
k8s调度器
K8S集群调度原理及调度策略原创 2020-03-09 14:29:40 · 155 阅读 · 0 评论 -
the Tail at Scale
原文:https://cacm.acm.org/magazines/2013/2/160173-the-tail-at-scale/fulltext知乎整理: https://zhuanlan.zhihu.com/p/39373401?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0JZ8dxDU另一篇相关论文...原创 2019-12-04 21:54:48 · 295 阅读 · 0 评论 -
GPU事项
GPU 任务gpu线程与调度 https://blog.csdn.net/jaccen2012/article/details/51367408记录GPU任务尽量集中到机器,利用显存的带宽分布式深度学习里GPU任务调度Tiresiashttps://www.jianshu.com/p/3ce4271377efhttps://github.com/SymbioticLab...原创 2019-10-16 20:54:51 · 107 阅读 · 0 评论 -
可用性设计
概念平均无故障时间 Mean Time Between Failure平均故障恢复时间 Mean Time To Repair可用性 Availability = MTBF/(MTBF + MTTR)设计原则减少故障发生的可能避免单点容错过载保护有效的监控、运维减少故障恢复时间无状态有状态: 状态的持久化故障隔离:分流可运维干预降低故障的外部影响...原创 2019-08-12 19:36:40 · 762 阅读 · 0 评论 -
分布式调度器
业内Dryad: Distributed Data-Parallel Programs from SequentialBuilding Blocks原创 2019-07-22 16:24:11 · 204 阅读 · 0 评论 -
service mesh
几个和service mesh 相关的文章初识 Service Mesh微服务 | 我为啥不看好 ServiceMeshServiceMesh究竟解决什么问题?原创 2019-07-21 17:36:09 · 114 阅读 · 0 评论 -
Kubernetes主机和容器的监控方案
from:https://www.kubernetes.org.cn/2432.html本文是有容云后端开发工程师李强 7月27日在微信群分享内容整理摘要:随着Docker容器云的广泛应用,大量的业务软件运行在容器中,这使得对docker容器的监控越来越重要。传统的监控系统大多数是针对物理机或者虚拟机设计的,而容器的特点不同与传统的物理机或者虚拟机,如果还是采用传统的监控系统,则会...转载 2019-03-28 13:50:07 · 702 阅读 · 0 评论 -
分布式事务与一致性算法Paxos & raft & zab
from: http://blog.csdn.net/followmyinclinations/article/details/52870418说明:以下内容总结自网络1.CAP原理要想数据高可用,就得写多份数据写多分数据就会导致数据一致性问题数据一致性问题会引起性能问题2.一致性模型弱一致性最终一致性转载 2017-12-04 13:30:44 · 1386 阅读 · 0 评论 -
zookeeper 常用操作
from: http://blog.csdn.net/java2000_wl/article/details/8654961ops1. 连接到zookeeper服务[java2000_wl@localhost zookeeper-3]$ bin/zkCli.sh -server 127.0.0.1:21812. 使用ls命令查看当前zookeeper中包含的内容[z转载 2015-02-15 13:49:53 · 445 阅读 · 0 评论 -
HDFS缺点及改进策略
<br />HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳:<br /> 低延时访问<br /> HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所有的对文件的请求都要经过它,当请求多时,肯定会有延时。当前,对于那些有低延时要求的应用程序,HBase是一个更好的选择。现在HBase的版本是0.20,相对于以前的版本,在性能上有了很大的提升,它转载 2010-12-18 17:44:00 · 627 阅读 · 0 评论 -
hbase introduction
<br />hbase 介绍一、简介<br />history<br /><br />started by chad walters and jim<br />2006.11 G release paper on BigTable<br />2007.2 inital HBase prototype created as Hadoop contrib<br />2007.10 First useable Hbase<br />2008.1 Hadoop become Apache top-level pro转载 2011-02-26 21:56:00 · 534 阅读 · 0 评论 -
HDFS读写过程解析(zz)
一、文件的打开1.1、客户端HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为:public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream( dfs.open(getPathName(f), bufferSize, verify转载 2011-03-06 22:17:00 · 968 阅读 · 0 评论 -
HDFS简介(zz)
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节点(datanode)元数据节点用来管理文件系统的命名空间其将所有的文件和文件夹的元数据保存在一个文件系统树中。这些信息也会在硬转载 2011-03-06 22:19:00 · 485 阅读 · 0 评论 -
Map-Reduce过程解析(zz)
Hadoop 学习总结之四:Map-Reduce的过程解析(转载)一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的:public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个转载 2011-03-06 22:26:00 · 829 阅读 · 0 评论 -
Map-Reduce 入门(zz)
<br />1、Map-Reduce的逻辑过程<br />假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-<br />0067011990999991950051507+0000+<br />0043011990999991950051512+0022+<br />0043011990999991950051518-0011+<br />00430126509999919转载 2011-03-06 22:24:00 · 526 阅读 · 0 评论 -
collections
Scalability of the Hadoop Distributed File Systemhttp://developer.yahoo.com/blogs/hadoop/posts/2010/05/scalability_of_the_hadoop_dist/Hadoop原创 2011-02-19 18:48:00 · 516 阅读 · 0 评论 -
understand the data model of Cassandra
// this note is helpful to understand the data model of Cassandra // ref: http://arin.me/blog/wtf-is-a-supercolumn-cassandra-data-model原创 2011-10-06 02:15:40 · 691 阅读 · 0 评论 -
Replica Placement in DFS
Replica Placement in DFS Hadoop: How does the namenode choose which datanodes to store replicas on? There’s a tradeoff between reliability and write bandwidth and read bandwidth here.For examp原创 2011-09-18 18:19:19 · 564 阅读 · 0 评论 -
HyperTable介绍
一 Hypertable 是什么:Hypertable 是一个正在进行中的开源项目,以google的bigtable论文为基础指导,使用c++语言实现。目标:是为了解决大并发,大数据量的数据库需求。目前只支持最基本的查询功能缺点: 不支持事物, 不支持关联查询. 对单条查询的响应时间可能也不如传统数据库(要看数据量,量越大,对hypertable越有 力)。转载 2012-07-22 17:36:09 · 8939 阅读 · 1 评论 -
HDFS和KFS 比较
HDFS和KFS 比较By云深作者:Terry/Lanlan/Adam 2009年1月转载请注明出处1、HDFS 和 KFS 简介 两者都是GFS的开源实现,而HDFS 是Hadoop 的子项目,用Java实现,为Hadoop上层应用提供高吞吐量的可扩展的大文件存储服务。Kosmos filesystem(KFS) is a high performance di转载 2012-07-28 18:00:59 · 1058 阅读 · 0 评论 -
experences on building a reliable service
why Twilio wasn't affected by AWS crash(http://www.twilio.com/engineering/2011/04/22/why-twilio-wasnt-affected-by-todays-aws-issues/), there some important experences:1, by building simple service原创 2012-11-03 15:04:29 · 456 阅读 · 0 评论 -
两阶段提交
三个概念: 网络通讯的危险期、一阶段提交(1PC)和两阶段提交(2PC) 网络通讯的危险期 由于网络通讯故障随时可能发生,任何发出请求后等待回应的程序都会有失去联系的危险。这种危险发生在发出请求之后,服务器返回应答之前,如果在这个期间网 络通讯发生故障,发出请求一方无法收到回应,于是无法判断服务器是否已经成功地处理请求,因为收不到回应可能是请求没有成功地发送到服务器,也可能是服务转载 2012-10-27 17:48:49 · 838 阅读 · 0 评论 -
Ceph: A Linux petabyte-scale distributed file system
<br /> <br />Summary: Linux® continues to invade the scalable computing space and, in particular, the scalable storage space. A recent addition to Linux's impressive selection of file systems is Ceph, a distributed file system that incorporates replicatio转载 2010-12-18 21:00:00 · 744 阅读 · 0 评论