墨客

原创 解析大文件日志随笔

最近工作中，有一个要解析文件，每天的文件大概30G左右gz压缩文件，每行大概是一个diviceId对应着一堆package，插入数据库的要以package为主键，等于是转一下映射。 显然全部读取到内存的方法也就只能想想了 最初的想法，写文件，首先按行遍历日志文件，每一行有大概50-100个package名字，循环package，写相应package名字的文件，然后，解析出文件之后，再写数据库。