使用阻塞式队列处理大数据

前言

我们都知道，JAVA对于文本文件在读时是独占的，即使可以用多线程去读也涉及到一个POS（定位读）的问题，这在设计框架上会带来许多的复杂性，同时也带来代码上的不可维护性以及会经常出一些千奇百怪的错误（多线程程序由其如此）。

传统阻塞式做法的敝病

• 特点：多线程，阻塞式导入
• 缺点：阻塞式，导入速度慢，线程状态无法精确记录，速度慢内存开销大
• 
  

优秀的做法

• 多线程
• 非阻塞式
• 内存开销恒定
• 线程可以自由增加

我们将采用的做法

在数据提取的设计时基于以下几个指标考虑：

1）内存占用数始终必须恒定值

2&#x