Zookeeper

Zookeeper

概述

  1. Zookeeper本身是一个树状结构 - Znode树
  2. 根节点是/
  3. 每一个子节点称之为是Znode节点
  4. 在Zookeeper中,每一个子节点都必须存储数据,这个数据往往是对这个节点的描述
  5. 所有节点的路径都必须从根节点开始计算
  6. 任意一个持久节点下都可以挂载子节点
  7. Znode树维系在内存以及磁盘中 - 在磁盘中的存储位置由dataDir决定
  8. 维系在内存中的目的:快速查询     维系在磁盘中的目的:崩溃恢复
  9. Zookeeper理论上可以作为缓存服务器使用,但是实际开发中几乎不这么做。Zookeeper本身是做分布式架构的管理和协调的,如果存储大量数据占用大量内存,就会导致管理和协调所能使用的资源减少
  10. Zookeeper会对每一次的写操作(create/set/delete/rmr)分配一个全局递增的编号,这个编号称之为事务id - Zxid

命令

命令

解释

 ls /

查看根节点的子节点

create /log 'log servers'

在根节点下创建了一个子节点log,log的数据时"log servers"

delete /video

删除/video节点 - 要求这个节点没有子节点

rmr /log

递归删除log节点

set /log 'log'

更新log节点的数据为'log'

get /log

获取log节点的数据以及节点信息

create -e /node02 ''

创建一个临时节点

create -s /log ''

创建一个顺序节点logxxxxxx

节点信息

属性

解释

cZxid

创建事务id

ctime

创建时间

mZxid

修改事务id

mtime

修改时间

pZxid

子节点的事务变化id

cversion

子节点变化的次数

dataVersion

数据版本。当前节点的更新次数

aclVersion

当前节点的权限变化次数

ephemeralOwner

标记当前节点是否是一个临时节点的

如果是持久节点,则该属性是0

如果是临时节点,则该属性是当前的sessionid

dataLength

数据的字节个数

numChildren

子节点个数

节点类型

 

持久节点

临时节点

顺序节点

Persistent_Sequential

Ephemeral_Sequential

非顺序节点

Persistent

Ephemeral

选举机制

概述

  1. 第一个阶段:数据恢复阶段

              每一个主机(节点)在启动之后,都会先查找当前主机(节点)中最大事务id

              2. 第二个阶段:选举阶段

             刚开始的时候,每一个节点都会选举自己当leader,并且将自己的选举信息发送给其他节点,和其他节点进行比较。经过多轮比较之后,会选出一个节点成为leader

选举的细节

观察者

  1. 观察者的特点:既不参与投票也不参与选举,但是监听投票和选举结果,然后根据结果来执行任务
  2. 适用场景:集群节点数量多的时候可以将一部分节点设置为观察者;网络条件不稳定的情况下,可以将部分节点设置为观察者
  3.  

ZAB协议

概述:

  1. Zookeeper Atomic Broadcast - Zookeeper原子广播协议,是专门为Zookeeper设计的协议
  2. 这套协议在设计过程中,基于2PC算法来设计,利用PAXOS算法进行了改进
  3. 作用:原子广播和崩溃恢复

原子广播

  1. 原子广播是为了保证所有节点数据的一致性
  2. 原子广播基于2PC算法进行改进
  3. 2PC - 2 Phase Commit - 二阶段提交 - 核心思想是“一票否决”:

                     a: 分发阶段:协调者收到请求之后,将请求发送给每一个参与者,然后让参与者将这个请求进行记录

                     b: 提交阶段:如果每一个参与者都记录成功,并且协调者收到了所有参与者的成功信号,那么协调者就会要求所有                的参与者执行这个请求

                     c: 中止阶段:如果有一个或者多个参与者返回no,或者如果协调者没有收到参与者的返回信号,也会认为这个参与                者返回的是no,那么协调者救护认为这个请求不可执行,那么协调者就会要求所有的参与者删除这个请求的记录

           4. 原子广播的过程

        5.  如果某个follower记录失败,而又接收到leader要求执行的命令,这个时候follower就会向leader发送请求重新申请这个任务

崩溃恢复

  1. 当集群中的leader因为某些原因产生丢失,集群中会自动选举出一个新的leader,那么这个过程就称之为崩溃恢复
  2. 崩溃恢复是为了避免Zookeeper集群中出现单点故障
  3. 每选举出一个leader,就会给leader一个编号,这个编号称之为epochid。每一个leader都会将epochid发送给每一个follower,follower接收到epochid之后存储在acceptedEpoch中
  4. 每一个follower接收到请求之后,都会先比较epochid
  5. 在集群中,Zookeeper的事务id实际上是由64位二进制数字组成,其中高32位表示的是epochid,低32位才是真正的事务id
  6. 当一个节点重新连入集群之后,这个节点会拿着自己的事务id和当前集群中的事务id进行比较,在比较完成之后,leader就会将确实的操作放入一个队列中发送给这个节点。这个节点在更新过程中不对外服务

思考?

Zookeeper如何动态增删结点

Zookeeper的 容灾性

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1 目标检测的定义 目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置,是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务,目标定位和目标分类。首先检测图像中目标的位置(目标定位),然后给出每个目标的具体类别(目标分类)。输出结果是一个边界框(称为Bounding-box,一般形式为(x1,y1,x2,y2),表示框的左上角坐标和右下角坐标),一个置信度分数(Confidence Score),表示边界框中是否包含检测对象的概率和各个类别的概率(首先得到类别概率,经过Softmax可得到类别标签)。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类:Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段,主要用于生成潜在的目标候选框(Bounding-box proposals)。这个阶段通常使用卷积神经网络(CNN)从输入图像中提取特征,然后通过一些技巧(如选择性搜索)来生成候选框。第二个阶段是分类和位置精修阶段,将第一个阶段生成的候选框输入到另一个 CNN 中进行分类,并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高,缺点是速度相对较慢。 常见Tow stage目标检测算法有:R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值,并利用这些特征值进行目标的分类和定位,不需要生成Region Proposal。这种方法的优点是速度快,因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低,因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有:YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框,对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制,作用是从众多预测边界框中挑选出最具代表性的结果,这样可以加快算法效率,其主要流程如下: 设定一个置信度分数阈值,将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序,选中值最大的框 遍历其余的框,如果和当前框的重叠面积(IOU)大于设定的阈值(一般为0.7),就将框删除(超过设定阈值,认为两个框的里面的物体属于同一个类别) 从未处理的框中继续选一个置信度分数最大的,重复上述过程,直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度,当预测边界框和真实边界框差异很小时,或重叠度很大时,表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度,是评估目标检测模型效果的最重要指标,这个值介于0到1之间,且越大越好。mAP是AP(Average Precision)的平均值,那么首先需要了解AP的概念。想要了解AP的概念,还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值(Confidence Threshold)和IoU阈值(一般设置为0.5,也会衡量0.75以及0.9的mAP值): 当一个预测边界框被认为是True Positive(TP)时,需要同时满足下面三个条件: Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3,则认为是False Positive(FP)。当对应同一个真值有多个预测结果时,只有最高置信度分数的预测结果被认为是True Positive,其余被认为是False Positive。 Precision和Recall的概念如下图所示: Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值,可以获得多组Precision和Recall,Recall放X轴,Precision放Y轴,可以画出一个Precision-Recall曲线,简称P-R
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值