由于近期实习涉及到阿里云大数据开发套件的使用,主要涉及到odps、ads、rds、ots相关数据库的操作,所以针对性的做一些总结,并将阿里云中产品与实际产品对应分析。其中ots没有使用过,这里为了对比分析,容易理解也有列出来。
阿里云中的Maxcompute(原odps)其实就是hive,扮演数据仓库的角色,适合存储轨迹类历史数据,适合存储的数据量大,适合海量数据的处理,适合对数据进行离线分析,数据挖掘运算;OLAP不支持插入和删除等事务、事务性不强,实时性也较差。
阿里云中的RDS(云数据库)对应的实际产品是MySQL–RDBMS,所能处理的数据量不是很大,OLTP事务性较好,实时性较好,具有强一致性。
在业务系统中,通常使用OLTP(OnLine Transaction Processing,联机事务处理)系统,如MySQL,SQLServer等关系型数据库系统(RDBMS),这些数据库系统擅长事务处理,在数据操作中保持很强的一致性和原子性,能够很好的支持频繁的数据插入和修改,但是一旦需要计算的数据量过大,达到数千万甚至数十亿条,或者需要进行计算非常复杂的情况下,OLTP类数据库系统就力不从心了,所以在使用阿里云产品过程中,一般需要对海量数据进行计算处理时,我们选择的是odps,将结果表存储到RDS中。