数据库:mysql
系统: Ret Hat as 4
日志文件:与数据库中存放的信息一致。
公司要求:30分钟内完成,数据量低于500w条。
通过mysql是完成不了(我们的数据量,一条最多2m的数据)。
1,把查询条件传递到程序中。
2,查询所要的数据。
3,通过查询获得的信息,拼成日志文件名。
4,开启十个线程对日志文件进行解析,并读取文件。
5,分段读取文件,并在其中查询是否存在关键字,如果存在,返回相应的信息。
后续学习,发现自己所处理的东西,其实人家已经做的很好了,而自己的仅仅只是小儿科。请去学习sphinx。