大数据
青春季风暴
aiIT
展开
-
Flume知识点总结
概述Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。优点:1.可 以和任意存储进程集成。。2.输入的的 数据速率大于写入目的存储的速率,flume 会进行缓冲,减小hdfs的压力。。3.flume中的事务基于channel,使用了两个事务模型(sender+receiver...原创 2020-11-23 19:52:28 · 449 阅读 · 0 评论 -
mapReduce知识点总结
mapreduce概述mapreduce定义:MapReduce是一个分布式运 算程序的编程框架,是用户开发" 基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群 上。mapreduce优缺点:优点:1. MapReduce易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运...原创 2020-11-16 18:28:25 · 2151 阅读 · 1 评论