bigdata
chenge_j
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记————MapReduce
简介 MapReduce是一种编程模型,并且是处理和生成大数据集的相关实现。用户指定一个map函数去处理key/value对,生成一个包含新的key/value对的集合(中间数据);reduce函数合并具有相同key值的中间数据。用户的程序按照这个模式编写,并且在一个集群上运行,这是利用分布式的一个典型的『并行』思想。用户无需关注输入文件的分割、任务在集群上的调度、集群内部的通信以及机器运行的失败...原创 2019-03-07 22:37:55 · 404 阅读 · 0 评论 -
filebeat报错:Harvester could not be started on exist file
filebeat报错:Harvester could not be started on exist file 问题描述: harvester_limit: 10000 close_inactive: 5m scan_frequency: 10s 采集10000个小文件,五分钟左右又写入了10000个小文件,此时原先开启的10000个harvester由于超过close_inactive关闭,...原创 2019-07-23 22:40:07 · 2907 阅读 · 0 评论