![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式解决方案
文章平均质量分 93
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
Netflix - 每秒超一百万次请求,Netflix如何做负载均衡?
Netflix 云网关团队一直致力于帮助系统减少错误、提高可用性,增强 Netflix 应对故障的能力。这么做是因为在每秒超过一百万次请求的这等规模下,哪怕很低的错误率也会影响会员的体验,所以降低错误率是必要的。因此,我们开始向 Zuul 和其他团队取经,改进我们的负载均衡机制,进一步减少服务器过载导致的错误。在 Zuul 中,我们历来使用 Ribbon 负载均衡器(https://g...转载 2019-03-29 12:59:14 · 271 阅读 · 0 评论 -
学习总结 - 纠删码Erasure Coding (分布式存储系统)
纠删码Erasure coding纠删码技术简称EC,是一种数据保护技术。最早用于通信行业中数据传输中的数据恢复,是一种编码容错技术。他通过在原始数据中加入新的校验数据,使得各个部分的数据产生关联性。在一定范围的数据出错情况下,通过纠删码技术都可以进行恢复。副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率多副本策略即将数据存储多个副本(一...原创 2018-12-25 19:16:00 · 3650 阅读 · 0 评论 -
学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持
虽然文档内所涉及的版本有点旧,但内容很精彩,值得推荐背景在 Hadoop 中有一个抽象文件系统的概念,它有多个不同的子类实现,由 DistributedFileSystem 类代表的 HDFS 便是其中之一。在 Hadoop 的 1.x 版本中,HDFS 存在 NameNode 单点故障,并且它是为大文件的流式数据访问而设计的,不适合随机读写大量的小文件。本文将探讨通过使用其他的存储系统,...原创 2018-12-12 17:58:05 · 325 阅读 · 1 评论 -
Mark : Kerberos 认证
转 :https://www.cnblogs.com/wukenaihe/p/3732141.htmlhadoop集群的kerberos认证https://blog.csdn.net/weixin_40861707/article/details/819794741. Kerberos简介Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进...转载 2019-04-13 21:40:54 · 248 阅读 · 0 评论