解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用

7月9日，由微众银行（WeBank）开源的一站式金融级大数据平台套件WeDataSphere（WDS），举办了第二期开发者社区的线上meetup，来自中国电信天翼云、艾佳生活、MobTech等WeDataSphere社区合作伙伴公司的大数据技术专家，在线呈现计算中间件Linkis 在其公司的应用案例与生产实践。

微众银行大数据平台负责人邸帅介绍了Linkis 1.0.0最新版本的Roadmap和架构设计思路以及WeDataSphere大数据平台套件的最新开源进展和相关规划。他在主题为《Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍》的主题演讲中表示，随着大数据的普及和深入发展，分布式架构层面越来越复杂化，服务治理也紧随其上，但目光往下一层，从上层 APP、Service，到底层计算引擎这一层面，却还是各个引擎各自为政，Client-Server 模式紧耦合满天飞的情况。这样的情况下，计算中间件应运而生：解决紧耦合、重复造轮子、扩展难、应用孤岛等计算治理问题，主要运用在分布式架构的典型场景-数据平台环境下的计算治理问题。

邸帅表示，基于对计算治理问题的深挖思考，和广大社区用户使用实践反馈，Linkis1.0对核心处理流程和模块的梳理将会进一步优化。同时，邸帅提出了更丰富强大计算治理功能需求的设计实现思路以及基于全新的1.0架构，Linkis未来对更全品类计算存储场景的支持覆盖能力建设，对路由、高可用、HTAP、跨引擎混算等复杂痛点问题的解决思路。

中国电信天翼云大数据平台负责人王小刚在主题为《Linkis在中国电信的实践与展望》演讲中介绍， 国建新基建正在朝向数字化转型，智能升级、融合创新，国家也在号召一业带百业，数字化基建。在此基础上，电信天翼云智能产品成为数字化产业链上重要的一环。当然，挑战与机遇并存：同时维护多个集群、集群规模大会造成运营压力变大；边缘集群同步到中心集群的同时，会漏掉很多高价值数据；同时，数据应用开发成本比较高。

“我们在对比和选择了多样的组件之后，选择了Linkis”，王小刚解释到，首要原因就是其强大的统一接入能力和多资源管控、多租户隔离、高可用&高并发&可扩展&高性能的特点，当然，作为中国通信行业三巨头之一的电信，拥有海量的数据宝藏，也意味着大量用户的信任，电信天翼云在系统安全性和私密性的要求会很高，而Linkis+DSS等在天翼云大数据平台上的应用完美的实现了天翼云的需求。Linkis+DSS 源码是完全开放的，电信天翼云基于Linkis构建大数据开发与服务平台，做相应配和加强。基于Hadoop3的适配，一些组件的整合，天翼云正在做的引擎启动慢优化思路，预计在未来围绕Linkis逐步打造计算漂移能力和跨调度框架能力。希望能跟Linkis一起成长，积极响应国家新基建战略号召，为国家新基建的建设尽一份力量。

艾佳生活架构师张荣在主题为《Linkis on K8S》的演讲中首先对Kubernetes和Linkis-dev 0.10.0特性做了介绍，然后讲述了未来规划，最后做了相应的演示。艾佳生活基于云原生12要素：基准代码、依赖、配置、后端服务、构建发布运行、进程、端口绑定、并发、易处理、环境等价、日志、管理流程，在Linkis基础上发布Linkis on k8s，分支dev-0.13.0。两者结合也擦出了新的火花：Linkis docker镜像作为制品发布，省去了每个人排包，编译过程基于cgroup隔离保证了每个Linkis微服务不会由于超卖而影响其他Linkis微服务，做到cpu，mem，io，disk的隔离；同时，为了让Linkis每个微服务持续服务，k8s也会自动监控Linkis微服务并重启、新建，为了保证Linkis高SLA以满足业务7*24的使用需求，k8s提供滚动发布，弹性伸缩，故障迁移功能。

MobTech大数据平台专家工程师王震在主题为《借力Linkis完善Mobtech大数据开发平台》演讲中介绍，在常规大数据任务的开发和运维中，各个平台系统相互独立，这不仅仅使得开发流程变得繁琐，也极大的加大了系统的维护成本。MobTech在研发过程中做了很多的讨论和尝试，最终选择基于Scriptis和Linkis搭建数据开发平台，打通大数据任务的开发、发布调度等。在使用Linkis的过程中MobTech团队也成为了社区重要的合作伙伴之一，主导了0.11.0版本的发布。