滴滴专家小课堂
文章平均质量分 89
「已注销」
这个作者很懒,什么都没留下…
展开
-
滴滴如何基于开源引擎,打造自主可控服务体系
一、分享背景在滴滴负责过LogAgent、Kafka、Flink、Elasticsearch、Clickhouse等开源大数据引擎服务体系建设工作,走过很多弯路,趟过很多坑,积累了一些实战经验;近年疫情肆虐,加速了企业数字化转型的步伐,与数十家互联网、金融、证券、教育企业进行了深度交流,大家对基于开源数据引擎建设自主、可控、安全的服务体系有强烈诉求,常见的困惑是如何基于开源引擎,结合企业特点与发展阶段,进行高ROI的服务体系建设。二、建设实践滴滴基于开源引擎搭建大数据基础设施...原创 2021-06-16 12:48:37 · 786 阅读 · 0 评论 -
运维人员如何利用Logi-KafkaManager了解、管控Kafka集群
前面的文章中,我们简单介绍了如何接入集群,以及Topic的申请和配额申请。这个时候,我们还不是很了解Logi-KafkaManager究竟有哪些优点,还有如何去管理如此众多的kafka集群。那么今天这篇文章,就让我们来详细了解一下——运维人员是如何去了解和管控我们所有的集群的。A.运维管控运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的。B.接入集群如何接入集群请看往期内容CSDN好文分享 | Kafka的灵魂伴侣滴滴Logi-KafkaManage...原创 2021-06-03 18:38:21 · 343 阅读 · 0 评论 -
从Kafka版本迭代,一窥未来趋势
滴滴Kafka的使用规模应该算是在国内互联网领域里数一数二的企业,Kafka承载日增2PB的日志的流转和缓存,其下游要经受住100W + Producer同时写入数据,自身集群峰值可达 2000W/s,集群流量可达 30GB/s,集群中有2W+ topic、20+ cluster、单集群 370+ Broker,上游要对接3W+Consumer,最大数据消费可达600MB/s,面对这么大规模数据流转和分发虽然也会遇到因为Kafka磁盘IO热点导致的集群生产消费雪崩;或者因为Topic资源隔离差,流量突增、回原创 2021-06-02 17:01:59 · 321 阅读 · 0 评论 -
Logi-KafkaManger之kafka针对Topic粒度的配额管理(限流)
项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台本文主要是讲解 针对Topic生产/消费 的限流配置; 如果不需要设置限流 则可忽略;申请配额(限流)不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理(限速)机制默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:user + clientiduserclientid如果kafka集群没有开启身份认证,转载 2021-05-19 16:00:54 · 475 阅读 · 0 评论 -
【滴滴专家小课堂】0门槛!小白都能看懂的运维监控课!(一)
本文作者:秦晓辉-滴滴夜莺项目负责人、滴滴高级专家工程师写在前面笔者从Open-Falcon开源到现在,从事运维监控领域相关工作差不多7年,在做Open-Falcon和Nightingale的社区答疑过程中发现,有大量的小白问题,很多是因为对这个领域缺乏基础认识,所以,想写一个针对入门级用户的系列文章,做一下知识的普及。另外,监控这个事情,其实也是研发人员走到某个段位之后必须要了解的。因为监控是稳定性体系建设中最重要的一环,普通研发人员往架构师转变,需要了解更多横向的知识,比如持续集成、服务治理翻译 2021-05-07 19:05:35 · 1049 阅读 · 0 评论