wlwl853的专栏

java大数据文件对每行数据进行排序获取频率最高字符串

背景:    文本文件a.txt,里面每行存放了一个URL。 需求:    计算出出现频率最多的TOP100个URL。 NOTE：简单写了个demo ，处理逻辑 1、先把大数据文件按行数分割为多个小文件 2、每个文件启动一个线程分析文件内容 HELP：100W条数据以下效率1分钟以内，200W以上数据效率很慢，多线程读取文件时出现内存溢出 package test; import jav...