百度云
业务类型
业务分成三部分:在线交易、轻量级的在线分析(例如实时营销类业务根据用户画像推送相关联的产品)、重量级的离线分析(例如构建用户画像)。在线交易和轻量级分析直接由CockroachDB集群处理,离线分析部分由Spark集群通过CockroachDB提供的KV接口读取数据运行离线分析,把离线分析业务和在线业务之间的影响降到最低,同时二者共享一份数据。
数据量
两个产品布置在百度云上,一共30个左右cockroachdb node,总数据量30TB左右,峰值qps为10w。基础结构由顶层的负载均衡节点和多个cockroachdb node组成。
定制开发
百度云结合自身在数据库研发和运维方面的积累,在开源CockroachDB基础上把CockroachDB打造成一个真正开箱即可用的数据库服务。针对CockroachDB构建了完善的运维管理能力,例如监控管理、灾备管理、故障切换、安全增强等等,释放用户在运维管理方面的人力投入,也针对CockroachDB内核做了如下深度开发:
1. 提供兼容MySQL协议和PostgreSQL协议两个版本,可以无缝对接mysql应用。
2. 新加入CDC、MySQL、PostgreSQL*在线迁移*功能,方便业务迁移到CockroachDB服务。目前支持在线迁移MySQL、PostgreSQL、CockroachDB迁移到CockroachDB。离线迁移支持CSV, SQL文件和SST文件三种数据源。
3. 结合硬件(例如:RDMA,GPS原子钟&#