tiancaishan的博客

很多互联网公司做到一定阶段，都会出现单表数据量到达瓶颈，如何解决？除了添加缓存等减轻数据库压力的方案，目前来说大部分公司都会走到分库分表这一步，但互联网服务一般都是7*24不停服的，那我们的分库分表也必然也要达成这样的要求？那我们如何来达成呢？小面是作者的一些思考，如果错漏，可以指出，大家共同探讨。首先，我们需要考虑哪些方面：（1）服务：分库分表后，数据服务必然不同于以往的服务（2）数据库：库表地...

本文结合作者用到的技术，思考如何快速简单的搭建简单的报表体系（1）总体架构和技术方案技术选型的考虑：小公司业务数据不多快速迭代开发开发模式要轻（2）流程建立自己的数仓（不影响业务库）利用阿里开源的canal数据同步组件将业务数据实时抽取到数据仓库中（实时性）利用kettle对业务原表中的数据进行相关的计算，并将结构放到报表展现表中（简单、易上手的etl工具）通过界面直接访问报表展现表中进行报表展现...