6.5 杭州阿里meetup

 

今天来到阿里访客中心A区参加Elastic 杭州meetup，阿里云Elasticsearch是基于开源Elasticsearch构建的全托管Elasticsearch云服务，在100%兼容开源功能的同时，不仅提供云上开箱即用的ELKB在内的Elastic Stack组件，还与Elastic官方合作提供免费X-Pack（白金版高级特性）商业插件，集成了日志分析场景、搜索场景、安全场景等高级特性，被广泛应用于实时日志分析处理、信息检索、以及数据的多维查询和统计分析等场景。

part1是 Elastic实战手册新书发布会

part2是滴滴的韩宝君分享的ES内核优化之路，滴滴的ES支持的业务有网约车的订单搜索，橙心优选的流量分析和地图的poi检索。平台架构是按照业务类别分成日志集群、Normal集群、重要集群和VIP集群。通过Gateway和业务系统交互数据，Gateway负责负载均衡、读写路由和鉴权。整个链路的数据采集资产管理都是由滴滴的夜莺AMS负责。讲完架构之后讲了滴滴ES集群的Master性能优化，为什么Master要做性能优化，因为pengding task堆积造成集群不稳定，元数据更新接口超时甚至导致master节点内存溢出。首先，他使用Arthas分析时间消耗最多的功能函数，发现org.elasticsearch.cluster.service.MasterService:runTask()耗时最久，而其中org.elasticsearch.cluster.service.MasterService:calculateTaskOutputs()耗时最多。org.elasticsearch.cluster.routing.allocation.AllocationService:reroute()耗时最久。具体做法好像把这些鸡肋功能砍掉还是什么没听清，因为我当时打瞌睡开了会小差。。Master具体的优化方向是集群按region划分、减少分片遍历次数、达到限速条件提前结束、批处理pending_task。接下来分享的是滴滴自研的ccr，全双工主从双写，然后依次说了历史数据同步、实时增量数据同步、双写实现。接下来讲了多磁盘功能扩展主要是为了解决数据倾斜、实时写入TPS不均衡等问题，主要是采用了一个预留机制因为索引每天写入的大小几乎一样的。滴滴未来的展望是要做全链路的指标体系，统一的SQL、混合云以及搜索优化。

part3 是安恒信息AiLPHA AI大数据安全的汤乐奇讲的ES在SIEM的应用实践，他们主要出货方式是一体机软硬件架构，所有存储计算组件都是纯DOCKER部署，接下来讲了他们平台数据索引管理，ilm等，最后讲了写入速度和存储优化。接着讲了基于统一语法的ES查询封装但我觉得功能比较简单就是与或非等简单逻辑。

part4是阿里的城破老师讲的阿里ES云服务的优化，主要有写入优化Indexing service等