- 博客(19)
- 收藏
- 关注
RSS订阅原创 常用分布式文件系统(对象存储)对比-SeaweedFS、Minio
所有文件的元数据不存储在Master节点，而是分散存储在Volume（逻辑卷，存储数据的逻辑结构）中，Master节点只保存卷 ID到卷服务器的映射，这样一来，Master节点的查询压力就被分散到volume节点了。对跨公网的文件同步，存在较大延迟，需要应用做相应的容错策略。minio是一款有明显优缺点的产品,在我们的需求背景下,minio不能够很好的满足,特别是不能够支持我们10亿+对象存储需求,而且在现有的架构设计下,也不太好改造,然后通过与社区共建的方式来满足我们海量小文件的需求。
2023-09-19 20:01:25
4880
4原创 分布式微服务架构之各类注册中心和配置中心对比
1、分布式微服务架构之各类注册中心对比如下：主要是：Nacos、ZK、Consul、Sofa、Etcd、Eureka等。 2、分布式微服务架构之各类配置中心对比如下：主要是Nacos、SpringCloud Config、Apollo。 总结： 上面注册中心和配置中心表格对比的很详细、各个维度进行比对。目前Nacos比较优秀、其他稍逊风骚，也广泛应用存在，各个公司技术选型不同，要根据自己的业务量和团队技术能力选择合适的技术架构。
2023-08-07 20:12:46
586
原创 分布式系统架构常见的三种限流算法
那么我们可以这么做：在一开 始的时候，我们可以设置一个计数器counter，每当一个请求过来的时候，counter就加1，如果counter的值大于100并且该请求与第一个 请求的间隔时间还在1分钟之内，那么说明请求数过多；漏桶算法其实很简单，可以粗略的认为就是注水漏水过程，往桶中以一定速率流出水，以任意速率流入水，当水超过桶流量则丢弃，因为桶容量是不变的，保证了整体的速率。5）、令牌桶有最低限额，当桶中的令牌达到最低限额的时候，请求处理完之后将不会删除令牌，以此保证足够的限流；
2023-08-07 19:43:04
154
原创 分布式系统之负载均衡常见的八种算法
hash 算法并不是保证绝对的平衡，如果 cache 较少的话，对象并不能被均匀的映射到 cache 上，比如在上面的例子中，仅部署 cache A 和 cache C 的情况下，在 4 个对象中， cache A 仅存储了 object1 ，而 cache C 则存储了object2 、 object3 和 object4；记录每个应用服务器正在处理的连接数(请求数)，将新到的请求分发到最少连接的服务器上，应该说，这是很符合负载均衡定义的算法。权重更高的服务处理的请求更多。服务通常需要是无状态的。
2023-08-07 19:24:07
1285
原创 大数据之存算分离架构研究
随着硬件技术的快速进步，尤其是网络和存储设备的性能迅速提升，以及云计算厂商推动软硬件协同加速的云存储服务，越来越多的企业开始基于云存储来构建数据存储服务，或数据湖，因此就需要单独再建设一个独立的计算层来提供数据分析服务，这也就是存算分离架构（Disaggregated Storage and Compute Architecture）。简单的理解为需要在计算和IO之间做平衡。由于计算和存储的耦合，当扩缩容的时候势必需要在节点之间移动数据，而节点同时需要对外提供计算服务，因此此时的性能可能会收到很大影响。
2023-06-26 18:02:03
2028
原创 企业架构EA和TOGAF
企业架构（Enterprise Architecture，EA），是对构成企业的所有关键元素和关系的总和描述，是一种提升IT对企业经营贡献度的设计方法，是一种为解决未来的企业环境及目前企业所面临的问题而画的蓝图，其目标则在于迅速而又弹性的让业务流程与信息化系统可以快速响应经营策略。TOGAF是一个可靠的，行之有效的方法，以发展能够满足商务需求的企业架构，而企业架构是承接企业业务战略与IT战略之间的桥梁与标准接口，是企业信息化规划的核心。制定一个实施的架构勘误表，确保实施的项目与架构相一致。
2023-06-22 16:38:43
1476
原创 大数据安全组件-Kerberos认证+Ranger权限研究
小结 总体来说，Kerberos是当前最有效最完善的统一身份认证框架，但是如果真的要全面实施，代价也很高，而从安全的角度来考虑，如果真的要防止恶意破坏的行为，在整个生产环境流程中，能被突破的环节其实也很多，光上Kerberos并不意味着就解决了问题，所以各大互联网公司用还是不用Kerberos，大家并没有一致的做法，即使All in Kerberos的公司，我敢说，除非完全不做服务化的工作，否则，整体链路方面也一定存在很多并不那么Kerberos的环节；简单的说，就是你想怎么做就怎么做。
2023-06-19 20:11:38
2238
原创 DAMA-数据治理体系
组织和文化：可能包括管理指标、关键因素、团队、权威和授权、共同的价值观和信仰、期望和态度、个人风格和偏好差异、文化、礼节、符号、组织传统、变更管理建议等，基本上与PMP和NPDP的管理思路一致。实践和方法：常见和流行的方法，以及交付物的执行过程和步骤。角色和职责：参与执行和监督职能的业务和IT角色，及其承担相应职能中的具体职责。技术：配套技术(主要是软件工具)的类别、标准和规程、产品的选择标准和常见的学习曲线。数据开发：数据的分析、设计、实施、测试、部署、维护等工作。文档和内容管理：管理数据库以外的数据。
2023-06-19 19:10:07
1929
原创 MySQL事务与锁原理深入剖析
当有事务给表的数据行加了共享锁或排他锁，同时会给表设置一个标识，代表已经有行锁了，其他事务要想对表加表锁时，就不必逐行判断有没有行锁可能跟表锁冲突了，直接读这个标识就可以确定自己该不该加表锁。而这个标识就是意向锁。这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些“脏”数据，并据此作进一步的处理，就会产生未提交的数据依赖关系。当两个或多个事务选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题–最后的更新覆盖了由其他事务所做的更新。
2023-06-17 16:27:47
127
原创 MySQL索引深入研究剖析&红黑树、二叉树、B+树
可以看到MyISAM引擎是三个文件，frm文件是表结构可以忽略，innodb是两个文件。红黑树：其实是一直平衡二叉树、特殊的二叉树。缺点是树高不可控，太高查找很慢。但是，别滥用覆盖索引 索引太多，属性太多，会占用缓冲池 降低查询效率。在这个数据结构网站上，我们可以自行绘制如下截图的图，感受数据结构的魅力。B+树：优点树高不会太高，会水平动态扩展，水平链表结构快速查找。覆盖索引：将被查询的字段，建立到联合索引里去。索引命中的规则：靠左对齐的原则。
2023-06-12 23:51:19
110
原创 CSDN博客开通了
我之前的旧博客是ITEYE的博客，有将近40w的访问量，无奈ITEYE博客无法上传图片，不好使用，慢慢准备弃用了，纯文字的文章还可以继续使用ITEYE。以后是IT老兵的双博客驱动了。微信公众号：
2023-06-09 19:28:21
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人