![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
liukuan73
这个作者很懒,什么都没留下…
展开
-
使用Python进行分布式系统协调 (ZooKeeper,Consul, etcd )
https://my.oschina.net/taogang/blog/410864笔者之前的博文提到过,随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用Python,利用开源对分布式服务做协调。在对分布式的应用做协调的时候,主要会碰到以下的应用场景:转载 2016-11-08 10:19:37 · 2264 阅读 · 0 评论 -
etcd启动流程源码分析笔记(-)
http://dockone.io/article/24251.初始化etcdServer流程: 代码路径为:github.com\coreos\etcd\embed\etcd.go StartEtcd(inCfg *Config) (e *Etcd, err error)流程如下:1.1: 参数校验:inCfg.Validate()校验关注点1:转载 2018-01-06 11:29:01 · 3918 阅读 · 0 评论 -
Zookeeper原理架构
http://blog.csdn.net/xuxiuning/article/details/51218941Zookeeper到底是什么!?学一个东西,不搞明白他是什么东西,哪还有心情学啊!! 首先,Zookeeper是Apache的一个java项目,属于Hadoop系统,扮演管理员的角色。 然后看到官网那些专有名词,实在理解不了。在Zookeeper的官网上有这转载 2017-12-28 21:15:26 · 3255 阅读 · 0 评论 -
Etcd与zookepr等的对比
http://blog.csdn.net/qq_33754458/article/details/73604877Etcd:一个键值存储仓库,主要用于配置共享和服务发现。优点:简单:支持 curl 方式的用户 API (HTTP+JSON)安全:可选 SSL 客户端证书认证快速:单实例可达每秒 1000 次写操作可靠:使用 Raft 实现分布式raft算转载 2017-12-28 20:20:37 · 3645 阅读 · 0 评论 -
Elasticsearch 架构以及源码概览
https://mp.weixin.qq.com/s/k_FjSOqZmTaCknBRwaiw7QElasticsearch 是最近两年异军突起的一个兼有搜索引擎和NoSQL数据库功能的开源系统,基于Java/Lucene构建。最近研究了一下,感觉 Elasticsearch 的架构以及其开源的生态构建都有许多可借鉴之处,所以整理成文章分享下。本文的代码以及架构分析主要基于 Elast转载 2017-12-26 09:07:19 · 1904 阅读 · 0 评论 -
Etcd 架构与实现解析
http://www.sohu.com/a/121076449_466839前一段时间的项目里用到了 Etcd(http://jolestar.com/etcd-architecture), 所以研究了一下它的源码以及实现。网上关于 Etcd 的使用介绍的文章不少,但分析具体架构实现的文章不多,同时 Etcd v3的文档也非常稀缺。本文通过分析 Etcd 的架构与实现,了解其优缺点以及转载 2017-12-26 08:33:07 · 3789 阅读 · 0 评论 -
etcd-webui安装
git clone https://github.com/henszey/etcd-browser.gitdocker build -t etcd-browser .docker run -it --name etcd-browser \-p 10.142.21.21:12345:8000 \-v /etc/ssl/etcd/ssl:/etc/ssl/etcd/ssl \--env ETCD_原创 2017-11-15 15:19:04 · 4241 阅读 · 0 评论 -
将有问题的etcd节点重新加入集群
etcd集群中某个节点坏掉,或不小心清空了某个节点的数据,可以按照如下步骤重新将此节点加入集群1.从集群中删除坏掉的节点1.查看集群健康状态,找到坏掉的节点ID:etcdctl --endpoints=https://10.4.63.161:2379 --ca-file=/etc/ssl/etcd/ssl/ca.pem --cert-file=/etc/ssl/etcd/ssl/node-k8sma原创 2017-11-15 14:53:28 · 9932 阅读 · 0 评论 -
ZooKeeper运维之数据文件和事务日志
http://blog.csdn.net/jiyiqinlovexx/article/details/426871571、面临问题:最近在基于Zookeeper开发一个分布式注册中心,包括两大功能: 配置信息的集中管理;服务的动态注册和发现。这里面会面临一个问题: 平时在公司开发系统肯定都利用可视化配置界面将所有配置信息配置好了,如果要将这些配置信息部署到新转载 2017-09-21 09:29:12 · 2346 阅读 · 0 评论 -
etcd raft算法动画
http://thesecretlivesofdata.com/raft/转载 2017-09-21 09:53:17 · 2959 阅读 · 0 评论 -
Zookeeper数据与存储
http://www.cnblogs.com/hehheai/p/6506835.html一、前言 前面分析了Zookeeper对请求的处理,本篇博文接着分析Zookeeper中如何对底层数据进行存储,数据存储被分为内存数据存储与磁盘数据存储。二、数据与存储 2.1 内存数据 Zookeeper的数据模型是树结构,在内存数据库中,存储了整棵树的内容,包转载 2017-09-21 09:13:35 · 2131 阅读 · 0 评论 -
zookeeper日志各类日志简介
http://www.cnblogs.com/jxwch/p/6526271.htmlzookeeper服务器会产生三类日志:事务日志、快照日志和log4j日志。 在zookeeper默认配置文件zoo.cfg(可以修改文件名)中有一个配置项dataDir,该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg转载 2017-09-21 09:06:36 · 4588 阅读 · 0 评论 -
SOA和微服务架构的区别
https://www.zhihu.com/question/37808426转载 2017-09-19 15:07:58 · 1586 阅读 · 0 评论 -
kafka broker 进入 conflicted ephemeral node 死循环
转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/5621303.html 最近发现kafka一台服务器producer客户端写入时一直报错,查看该broker服务日志发现日志一直输出下面的内容,看上去应该是broker尝试在zk上注册节点但是产生了session冲突之类的问题。[2016-06-27 17:05:56,608转载 2017-05-21 13:47:23 · 2129 阅读 · 0 评论 -
ETCD应用场景
https://tonydeng.github.io/2015/10/19/etcd-application-scenarios/etcd是什么?很多人对这个问题的第一反应可能是,它是一个键值存储仓库,却没有重视官方定义的后半句,用于配置共享和服务发现。A highly-available key value store for shared configuration转载 2017-03-13 15:10:04 · 4357 阅读 · 0 评论 -
kafka深度解析
http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/转载 2016-11-23 21:00:02 · 1526 阅读 · 0 评论 -
etcd 备份与恢复
http://www.tianfeiyu.com/?p=2689etcd 是一款开源的分布式一致性键值存储,由 CoreOS 公司进行维护,详细的介绍请参考官方文档。etcd 目前最新的版本的 v3.1.1,但它的 API 又有 v3 和 v2 之分,社区通常所说的 v3 与 v2 都是指 API 的版本号。从 etcd 2.3 版本开始推出了一个实验性的全新 v3 版本 AP转载 2018-01-06 11:46:10 · 10075 阅读 · 0 评论