2018年05月_编程圈子

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 CentOS7 安装SFTP

1. 查看openssh版本 ssh -V openssh版本必须大于4.8p1 2. 创建sftp组 groupadd sftp 3. 创建sftp用户 useradd -g sftp -s /sbin/nologin -M sftp passwd sftp 输入密码 4. 建立目录 mkdir -p /data/sftp/mysftp usermod -d /d...

2018-05-17 09:34:30 5323 1

原创 java 日志框架——log4j

Log4J是JAVA下的一款日志组件下载： http://logging.apache.org/log4j/2.x/download.html 下面的示例我使用最新版本2.7无法正常运行，最新版本使用方法可能不同。本文示例使用log4j-1.2.15测试成功运行。有的时候，可能发生log4j.properties文件不生效的情况下，则可能是配置文件被第三方文件覆盖了。处理方法参照： ...

2018-05-09 17:19:29 876

原创 ZooKeeper学习笔记十三分布式系统中基于ZooKeeper的服务注册中心设计

本文学习资源来自《分布式服务框架原理与实践》中国工信出版信息、电子工业出版社一、服务注册中心对于服务提供者，它需要发布服务；由于应用系统的复杂性，服务的数量、类型不断膨胀；对于服务消费者，它最关心的是如何获取到它所需要的服务。对于服务提供方和消费方来说，它们还有可能兼具这两种角色；既需要提供服务，又需要消费服务。如何有效地管理服务订阅/发布，避免硬编码地址信息是分布式服务框架需要解...

2018-05-04 16:05:59 1281

原创 ZooKeeper学习笔记十二 ZooKeeper在大型分布式系统中的应用

本文学习资源来自《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社 Hadoop 在Hadoop中，ZooKeeper主要用于实现HA（High Availability），这部分逻辑主要集中在Hadoop Common的HA模块中，HDFS的NameNode与YARN的ResourceManager都是基于HA模块来实现自己的HA功能的。同时，在YARN中又特别提供了...

2018-05-04 14:28:45 710

原创 ZooKeeper学习笔记十一 ZooKeeper典型应用场景——分布式队列

本文学习资源来自《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社分布式队列，简单地讲有两大类：一种是常规的先入先出队列，另一种则是要等到队列元素集聚之后才统一安排执行的Barrier模型（同步队列）。 FIFO：先入先出先入先出的算法思想，以其简单明了的特点，广泛应用于计算机科学的各个方面。而FIFO队列也是一种非常典型且应用广泛的按序执行的队列模型；先进入...

2018-05-04 11:31:47 721

原创 ZooKeeper学习笔记十 ZooKeeper典型应用场景——分布式锁

本文学习资源来自《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社分布式锁是控制分布式系统之间同步访问共享资源的一种方式。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要通过一些互斥手段来防止彼此之间的干扰，以保证一致性，在这种情况下，就需要使用分布式锁了。在平时的实际项目开发中，我们往往很少会去在意分布式锁，而是依赖...

2018-05-04 07:55:11 738

原创 ZooKeeper学习笔记九 ZooKeeper典型应用场景——Master选举

本文学习资源来自《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社 Master选举是一个在分布式系统中非常常见的应用场景。分布式最核心的特性就是能够将具有独立计算能力的系统单元部署在不同的机器上，构成一个完整的分布式系统。而与此同时，实际场景中往往也需要在这些分布在不同机器上的独立系统单元中选出一个所谓的“老大”，在计算机科学中，称之为Master。在分布式系统中...

2018-05-02 17:01:02 509

原创 ZooKeeper学习笔记八 ZooKeeper典型应用场景——命名服务

《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社命名服务是分布式系统中比较常见的一类场景。命名服务是分布式系统最基本的公共服务之一。在分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等——这些我们都可以统称它们为名字（Name），其中较为常见的就是一些分布式服务框架（如RPC、RMI）中的服务地址列表，通过使用命名服务，客户端应用能够根据指...

2018-05-02 16:00:53 3048

原创 ZooKeeper学习笔记七 ZooKeeper典型应用场景——发布/订阅

本文学习资源来自《从Paxos到ZooKeeper分布式一致性原理与实践》电子工业出版社数据发布/订阅数据发布/订阅系统，即配置中心。发布/订阅系统一般有两种设计模式，分别为推模式和拉模式。在推模式中，服务端主动将数据更新发送给所有订阅的客户端，而拉模式则是由客户端主动发起请求来获取最新数据，通常客户端都采用定时进行轮询拉取的方式。 ZooKeeper采用的是推拉相结合的方式： ...

2018-05-02 14:14:36 461