字节跳动开源BitSail，助力企业走好数字化“第一步”

10月26日，字节跳动宣布开源BitSail数据集成引擎。BitSail意为“数据航行”，可支持二十余种异构数据源间的数据同步，提供离线、实时、全量、增量场景下的全域数据集成解决方案，从而打通困扰企业数字化转型的“数据孤岛”，帮助企业用户更有效地发挥数据资产价值。

BitSail开源地址：https://github.com/bytedance/bitsail

据悉，BitSail起源于2018年。当时字节跳动的业务场景日益复杂，数据源越来越多，数据量更是呈爆发式增长。为了支撑公司业务快速发展，字节跳动数据平台团队开始自研数据集成引擎。

新引擎最初基于Apache Flink实现，历经多年持续改进和创新，现已具备批式集成、流式集成和增量集成三类同步模式，并支持分布式水平扩展和流批一体架构，在各种数据量和各种场景下，一个框架即可解决数据集成需求。此外，BitSail采用插件式架构，支持运行时解耦，从而具备极强的灵活性，企业可以很方便地接入新的数据源。

目前，BitSail不仅服务于抖音、今日头条等字节跳动内部业务，也服务了火山引擎多家企业客户，其稳定性、数据传输质量和运维成本等方面经过“千锤百炼”，已经具备较高的产品成熟度。

数据显示，BitSail在字节跳动内部每天的任务量超过20万，传输的数据行数超过百万亿行，其中单批任务达到千亿行、单流任务达到千万QPS，支持10分钟级延迟SLA。通过在火山引擎的云原生环境和客户专有云环境等不同场景的打磨，在确保数据传输安全性的同时，BitSail的功能细节和性能得到进一步优化，可以满足企业绝大部分使用需求。

自2015年至今，字节跳动已开源了50多个项目，早期大多为工程师个人兴趣驱动。今年5月，字节跳动宣布成立开源委员会，为技术开源引入公司级的策略、规范与流程机制。BitSail项目负责人表示，做好开源的“北极星指标”是能真实落地，帮助开发者在生产环境或实际业务中创造价值。BitSail会持续夯实基础能力，并结合内外部业务实践输出更多创新的特性，帮助企业用户走好数字化“第一步”。

编辑丨罗蕊艳

设计丨冯歆怡

相

关

阅

读

开源十字路口人潮汹涌：COSCon'22 数据篇

开源“摩尔定律”即将打破，《2022开源大数据热力报告》重磅发布

华为王泽锋：协作创新，开源的魅力所在

开源社简介

开源社成立于 2014 年，是由志愿贡献于开源事业的个人成员，依 “贡献、共识、共治” 原则所组成，始终维持厂商中立、公益、非营利的特点，是最早以 “开源治理、国际接轨、社区发展、开源项目” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作，以 “立足中国、贡献全球” 为愿景，旨在共创健康可持续发展的开源生态，推动中国开源社区成为全球开源体系的积极参与及贡献者。

2017 年，开源社转型为完全由个人成员组成，参照 ASF 等国际顶级开源基金会的治理模式运作。近八年来，链接了数万名开源人，集聚了上千名社区成员及志愿者、海内外数百位讲师，合作了近百家赞助、媒体、社区伙伴。