![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
我是xxxx
苦逼程序员一枚
展开
-
hadoop基础:第三部分 分布式文件系统
第三部分 分布式文件系统HDFS设计- 超大文件 - 适用于处理TB及以上数据级别的数据。 - 流式数据访问 一次写入,多次读取。 - 商用硬件 普通硬件即可部署。 - 低时间延迟的数据访问 延迟较高,不适用于实时处理。 - 大量的小文件 不适用于存储过小的文件。 - 多用户写入,任意修改文件 不支持多用户写入,不可更新数据,仅支持追加操作。原创 2016-01-17 15:02:12 · 374 阅读 · 0 评论 -
hadoop基础:第二部分 关于MapReduce
Hadoop基础:第二部分mapReduce执行策略 map执行时优先选择在存储HDFS数据的服务器上执行,其次在同机架的服务器上执行,最次在其他机架服务器上执行。欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML原创 2016-01-12 21:49:35 · 353 阅读 · 0 评论 -
Flume笔记
Flume 笔记 Flume是一个高可用的分布式的海量日志采集、聚合和传输的系统。 总体架构图 flume的核心是把数据从数据源source收集过来,在将收集到的数据送到指定目的地(sink)。为了保证传输过程中不丢失数据,在送到目的地之前,会先缓存在通道中(channel),待数据发送到sink之,flume从通道中删除数据。 source不断的接收数据,将数据封装成一个一个event,然后将...原创 2018-09-27 17:05:42 · 344 阅读 · 0 评论