海量数据处理
KogRow(接毕设和大作业版)
这个作者很懒,什么都没留下…
展开
-
windows下使用ELK搭建SGK教程
本文不包含SGK的任何数据,也不会给出任何数据源。ELK版本:1、elasticsearch-6.5.42、kibana-6.5.4-windows-x86_643、logstash-6.5.4elasticsearch主要用来做全文搜索,kibana是展示,logstash向elasticsearch写入数据。以上版本要求JDK7以上,我这里是JDK8。下载好之后解压,双击elasticsearch.bat,浏览器访问127.0.0.1:9200看到如下代码就说明elastic原创 2021-03-21 21:57:09 · 1987 阅读 · 2 评论 -
海量数据处理(一):求前10000大的数字
在一个大文件里有1亿条记录,每一行记录为1个数字,统计最大的前10000个数字 * 思路: * 维护一个大小为K的最小堆,并认为初始化之后的堆就是最大的K个元素 * 接来下将从第K+1个元素开始与堆顶元素比较,若大于堆顶元素则将堆顶元素抛弃后新元素入堆 * 全部读取完后将该最小堆进行一次排序即可得到最大的K个数字为了模拟这个问题,生成海量数据的代码如下:import j原创 2017-08-04 16:25:28 · 843 阅读 · 0 评论