10.分布式原理_shard&replica机制再次梳理以及单node环境中创建index图解

课程大纲

1、shard&replica机制再次梳理
2、图解单node环境下创建index是什么样子的

1、shard&replica机制再次梳理

(1)index包含多个shard
(2)每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力
(3)增减节点时,shard会自动在nodes中负载均衡
(4)primary shard和replica shard,每个document肯定只存在于某一个primary shard以及其对应的replica shard中,不可能存在于多个primary shard
(5)replica shard是primary shard的副本,负责容错,以及承担读请求负载
(6)primary shard的数量在创建索引的时候就固定了,replica shard的数量可以随时修改
(7)primary shard的默认数量是5,replica默认是1,默认有10个shard,5个primary shard,5个replica shard
(8)primary shard不能和自己的replica shard放在同一个节点上(否则节点宕机,primary shard和副本都丢失,起不到容错的作用),但是可以和其他primary shard的replica shard放在同一个节点上

2、图解单node环境下创建index是什么样子的

(1)单node环境下,创建一个index,有3个primary shard,3个replica shard
(2)集群status是yellow
(3)这个时候,只会将3个primary shard分配到仅有的一个node上去,另外3个replica shard是无法分配的
(4)集群可以正常工作,但是一旦出现节点宕机,数据全部丢失,而且集群不可用,无法承接任何请求

image-20201126221321679

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这段代码是一个类的方法`dataSetBalanceAllocation()`。该方法用于对数据集进行平衡分配给多个客户端。 首先,通过调用`GetDataSet()`函数获取`mnistDataSet`数据集对象。然后,将测试数据和测试标签转换为张量,并使用`DataLoader`创建一个测试数据加载器,每个批次大小为100,不打乱顺序。 接下来,将训练数据和训练标签存储在`train_data`和`train_label`。然后,计算每个客户端的数据分片大小,即`shard_size`,它是训练数据总量除以客户端数量除以2(因为每个客户端获取两个分片)。 通过使用`np.random.permutation()`函数对`mnistDataSet.train_data_size // shard_size`进行排列,得到一个随机的分片索引数组`shards_id`。 接下来,使用循环为每个客户端分配数据。在每次迭代,通过索引数组`shards_id`获取两个分片的索引`shards_id1`和`shards_id2`。然后,通过这些索引从训练数据和标签选择对应的数据分片。将这些分片堆叠起来,形成本地的数据和标签,并将其封装为`TensorDataset`对象。 然后,创建一个名为`someone`的客户端对象,该对象是使用上述本地数据和标签创建的。将该客户端对象添加到`self.clients_set`字典,键为`'client{}'.format(i)`。 通过这样的操作,数据集被平衡地分配给了多个客户端,每个客户端都有两个数据分片。你可以通过访问`self.clients_set`来访问每个客户端的数据和标签。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值