henleyyyyy的博客

原创 国产时序数据库TDengines学习调研及总结

如果无法快速定位出异常原因，会造成更多的异常 glass，严重影响生产。当时的技术栈用的是CDH，首先通过kafka采集的数据， spark对接kafka进行初步计算去噪并汇总到hadoop里面，以parquet的格式保存，有需要进一步的加工，通过impala进行一步的加工，每天挂起N个任务，不停的调度计算。TDengine不需要对数据进行修改，所以不需要考虑数据一致性的问题，数据是以有序的规律并追加的形式写进去的，因为只有读和写，所以也不需要锁保护，抛掉一些无用的包袱，可以集中优化其它地方，例如列式表。