mxnet : parameter-server/ps-lite阅读既要

本文详细解析了mxnet/cxxnet的参数服务器组件ps和ps-lite,它们作为分布式KV服务,专注于分布式同步和消息处理。文章介绍了ps-lite的版本演变,主要网络结构如Customer、Executor、PostOffice和Van,以及KV存储实现。此外,还提到了数据压缩、网络利用率记录和性能优化策略,如无copy操作和线程池。
摘要由CSDN通过智能技术生成
说在最前面,ps/ps-lite是mxnet/cxxnet的参数服务器部分,原理上就是一个分布式kv服务,具备range类的pull/push操作;和其他的kv数据库相比(比如redis/leveldb),并没有把精力放在存储的数据结构/内存磁盘的转化之类上,而是大部分精力都用在分布式同步,结构层面,以及传输消息的异步处理和压缩里面了。
后期被定为做类库,可能也是其owner希望业界可以采用这样的结构。与其说是个kv数据库,不如说是分布式kv系统结构类库。和读了redis觉得其数据结构的功底惊为天人不同,ps/ps-lite看完就觉得是个学术界的同学做的系统结构,思路有亮点,结构实现的多少还是有点乱滴。。。当然了C++11用的很溜,每个函数级别的细节实现都还不错。
早年我个人看过淘宝的KV数据库Tair的实现源码(大约在2013年),思路类似,简单来说就是固定分片,每个分片的主机里面的数据更新后,异步同步到具有该分片的其他从分片。ps/ps-lite在这方面的优化其实是在同步时缩减消息内容,甚至多条一起合并。并且引入了mq做中间件,系统的稳定性更好。

1,历史版本
mxnet的parameter-server历史上,主干git可以看到主要的3个版本
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据您提供的错误信息"ORA-01017: invalid username/password; logon denied",这是Oracle数据库登录验证失败的错误。这种错误通常是由于输入的用户名或密码不正确导致的。 要解决这个问题,您可以按照以下步骤进行操作: 1. 首先,确认您输入的用户名和密码是否正确。请确保用户名和密码的大小写正确,并且没有多余的空格或特殊字符。您可以尝试重新输入用户名和密码,确保没有输入错误。 2. 如果您确定用户名和密码是正确的,那么可能是由于数据库账户被锁定或过期导致的登录失败。您可以尝试联系数据库管理员,确认账户是否被锁定或过期,并请求管理员解锁或重置密码。 3. 另外,还有可能是由于网络连接问题导致的登录失败。请确保您的网络连接正常,并且可以正常连接到数据库服务器。如果您使用的是远程连接,请确保网络连接稳定,并且可以访问到数据库服务器。 总结一下,要解决"ORA-01017: invalid username/password; logon denied"错误,您可以按照以下步骤进行操作:确认用户名和密码是否正确、联系数据库管理员解锁或重置密码、确保网络连接正常。希望对您有所帮助。 :ORA-01017: invalid username/password; logon denied Oracle数据库报错解决方案一-附件资源 :人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值