多线程从MongoDB读取数据,并以固定大小写入HDFS
从Mongo里多线程取数据,我一开始尝试了用Executors.newFixedThreadPool线程池来实现。实际操作中,发现只有第一个线程会正常取数据,后建立的线程访问Mongo的cursor会报错。 后来改变了实现方式,通过Thread.start()来进行多线程取数据。代码如下:RsUserTagsRunner job = new RsUserTagsRunner(start, end,
原创
2017-12-06 10:30:03 ·
8457 阅读 ·
3 评论