读取大文件数据进入redis作为缓存

之前在工作中需要用到将一个尾表放入redis中便于查询。但是该文件内容每天都会变化。所以得写定时器定时读取最新文件然后录入redis中。但是分析日志发现，每次执行该任务都要花费好几个小时，太慢了，作为一个程序员这怎么能接受，就想着给优化一下.

首先想到的是多线程同时读这个文件，但是多线程读同一个文件感觉不好控制，就想着先把文件拆分成大小一样的小文件（分别给文件名后缀添加_1,_2...），然后每个线程读取各自的文件。通过对比之下时间，之前得四五个小时才能执行完的定时任务在一小时之内就完成了。后来一个同事看到我写的，说为什么不试试轮询队列呢。就是一个类读文件然后以统一格式写入queue中，另外一个类读取队列插入redis中。于是我直接在读取小文件线程又加入了队列，结果执行时间又减少了1/4.总体结果还是令人满意的.

不过需要注意的queue的实现有好几种，区分线程安全的非线程安全的使用场景.

 

转载于:https://www.cnblogs.com/yimapingchuan/p/5235564.html