轨迹数据库的索引建立
首先把所有的数据分成每10分钟一个文件,大约一个文件在100-200MB之间。
然后按照id顺序对每一个数据进行排序,形成时间-id索引的文件。
然后按照基站号对每10分钟的数据进行索引的建立。存储包含time,基站号,连接的人的索引数据库文件,方便查询。
这种方法如果数据量1天在30+GB的数据,需要对每10天进行一个time的索引建立,记录每个基站连接的人的同时,需要记录连接的时间和所在文件的位置,方便id查找当时的轨迹。
如果数据更大,则还有对时间-基站-id进行索引建立的方法建立二层索引, 时间基站-标识,标识-id序列的方法进一步优化索引