背锅我们是被迫的
数据库问题‘触发’越来越频繁了,开发、业务人员也一直抱怨数据库不行,作为运维人员,天天各种处理问题,还被其他部门喷,有问题矛头全部指向数据库。刚上任的部门领导整天也是压力山大,内部会议分析了当前的情况,最终解决方案是架构变更。当前的生产系统运行在Mysql上,从开始的保留半年的数据,到现在缩减到保留不足三个月的数据,全量数据实时同步到Hadoop,随着业务的发展,Mysql和Hadoop的数据量都越来越多,系统已经不堪重负了。
架构替换选型开始
综合考虑数据库的性能和成本,决定使用Oracle/PostgreSql+ClickHouse/GreenPlum的架构
备选架构 | 生产 | 数仓 |
---|---|---|
1 | Oracle | ClickHouse |
2 | Oracle | GreenPlum |
3 | PostgreSql | ClickHouse |
4 | PostgreSql | GreenPlum |
当前公司的运维人员普遍对Oracle、Mysql、Hadoop比较熟悉。综合考虑数据库的软件成本和人员的学习成本。领导倾向于使用Oracle+ClickHouse的方案,简单的测试后性能确实提升了不少,由于使用ClickHouse需要对数仓的表进行宽表改造,表改造方案需要的人力和时间太长,故该方案一直卡在宽表改造阶段。