分布式处理
panda-star
时常进步,每次进步一步
展开
-
spring boot中zookeeper使用
spring boot中zookeeper使用文章目录spring boot中zookeeper使用一、简介二、示例2.1 添加maven依赖2.2 添加配置文件application.yaml2.3 定义zookeeper客户端2.4 定义zookeeper监听器2.5 启动类2.6 测试一、简介这里介绍zookeeper在spring boot中的使用,直接代码示例。二、示例2.1 添加maven依赖<?xml version="1.0" encoding="UTF-8"?>&原创 2020-10-15 23:55:23 · 6803 阅读 · 0 评论 -
一致性hash算法
一致性hash算法文章目录一致性hash算法一、简介二、传统hash算法的问题三、一致性hash算法特点四、一致性hash算法设计五、一致性hash算法的java实现六、一致性hash算法的简单实现一、简介一致性hash算法是1997年由麻省理工学院提出的,用于在分布式环境中,当增加或删除结点时,尽可能小的减少对结点映射和请求映射的改变,进而减少其带来的存储改变、请求处理改变的影响。通常用于分布式环境中缓存分布、负载均衡等场景。二、传统hash算法的问题在缓存场景,以结点取模为例,假设有5个缓存结原创 2020-10-15 23:54:13 · 439 阅读 · 3 评论 -
分布式文件系统fastdfs_使用python操作fastdfs
分布式文件系统fastdfs_使用python操作fastdfs文章目录分布式文件系统fastdfs_使用python操作fastdfs一、简介二、使用2.1 安装依赖包2.2 定义配置文件2.3 python操作示例一、简介这里介绍使用python操作fastdfs。python操作需要依赖py3Fdfs包。二、使用2.1 安装依赖包pip3.6 install py3Fdfs2...原创 2020-02-26 00:09:13 · 4442 阅读 · 0 评论 -
分布式文件系统fastdfs_使用java操作fastdfs
分布式文件系统fastdfs_使用java操作fastdfs文章目录分布式文件系统fastdfs_使用java操作fastdfs一、简介二、步骤2.1 添加maven依赖2.2 添加fastdfs配置文件2.3 操作示例代码一、简介这里介绍使用java操作fastdfs。使用中需要添加fastdfs客户端fastdfs-client-java,可以直接添加maven依赖或下载源码自己打包。...原创 2020-02-25 23:35:51 · 636 阅读 · 0 评论 -
分布式文件系统fastdfs_搭建和基本使用
分布式文件系统fastdfs_搭建和基本使用文章目录分布式文件系统fastdfs_搭建和基本使用一、简介二、fastdfs知识点2.1 fastdfs特点2.2 fastdfs应用场景2.3 fastdfs存储结构2.4 fastdfs构成三、fastdfs安装4.1 libfastcommon安装4.2 fastdfs安装4.3 fastdfs-nginx-module安装四、fastdfs使...原创 2020-10-15 23:53:18 · 660 阅读 · 0 评论 -
zookeeper分布式计数器
一、背景在分布式环境中,常规的计数器是不能使用的,在此介绍基本zookeeper实现的分布式计数器(注意说计数器,每次值的修改是可自定义的)。包括SharedCount计数器,DistributedAtomicLong计数器(如int等其它类型计数器类似)。二、添加maven依赖 org.apache.zookeeper zookeeper 3.4.6原创 2017-12-28 21:18:17 · 2273 阅读 · 0 评论 -
zookeeper分布式队列
一、简介在此介绍基于zookeeper实现的分布式队列。包括类似jdk队列的简单队列SimpleDistributedQueue、分布式队列DistributedQueue、带Id的分布式队列DistributedIdQueue、带优先级的分布式队列DistributedPriorityQueue。二、添加maven依赖 org.apache.zookeeper原创 2018-01-02 22:50:35 · 1093 阅读 · 0 评论 -
zookeeper分布式锁(辅助类)
一、背景在分布式环境中,多线程中的各种锁是不生效的(由于程序在多台机器上运行),即使是单线程,一旦访问临界资源,也会出错的。因此我们需要分布式锁来对临界资源进行同步访问。在此,介绍基于zookeeper,curator实现的分布式锁,包括InterProcessMutex锁、InterProcessReadWriteLock读写锁、信号量InterProcessSemaphoreV原创 2017-11-28 21:19:20 · 4202 阅读 · 2 评论 -
zookeeper使用(三)--Curator客户端操作zookeeper
一、简介Curator是Netflix公司开源的zookeeper客户端,与之类似的还有zkClient客户端。zkClient是在zookeeper原生api的基础上包装而来,因此实现的功能更多是基于zookeeper原生api,扩展性方便不多。而Curtor目前是apache的顶级项目,提供了更易用的,适用于各种业务的api(如锁服务等)。二、常用操作实例这里就不多讲,直接原创 2017-11-28 20:57:11 · 429 阅读 · 0 评论 -
基于twitter的雪花算法生成不重复id
基于twitter的雪花算法生成不重复id原创 2017-09-17 11:36:32 · 3247 阅读 · 0 评论 -
zookeeper使用(二)--常用命令及在java中基本操作
一、简介在文章 zookeeper使用(一)--简介与安装中,我们介绍了zookeeper相关知识及安装方法。在文本,将介绍zookeeper的常用命令,以及在java中的基本操作(包括原生的zookeeper和包装后的ZkClient)。二、常用命令1、启动、停止服务./zkServer.sh start[stop]2、连接服务./zkCli.sh -server i原创 2017-07-26 20:59:53 · 615 阅读 · 0 评论 -
zookeeper使用(一)--简介与安装
一、简介zookeeper最初是apache hadoop的子项目,2010年11月后正式成为apache的顶级项目。它是一个分布式协调框架,通常用在分布式环境中。1、分布式理论在分布式环境中,数据是分布在多台机器上的,传统的在一台机器上实现的事务,在分布式环境行不通(机器随时变动的、各机器副本无主从关系,缺乏全局时钟,无法确认事件发生的先后)。进而,出现了分布式理论:原创 2017-07-25 13:29:31 · 323 阅读 · 0 评论