hadoop
我是xxxx
苦逼程序员一枚
展开
-
hadoop基础:第三部分 分布式文件系统
第三部分 分布式文件系统HDFS设计- 超大文件 - 适用于处理TB及以上数据级别的数据。- 流式数据访问 一次写入,多次读取。- 商用硬件 普通硬件即可部署。- 低时间延迟的数据访问 延迟较高,不适用于实时处理。- 大量的小文件 不适用于存储过小的文件。- 多用户写入,任意修改文件 不支持多用户写入,不可更新数据,仅支持追加操作。原创 2016-01-17 15:02:12 · 371 阅读 · 0 评论 -
hadoop基础:第二部分 关于MapReduce
Hadoop基础:第二部分mapReduce执行策略 map执行时优先选择在存储HDFS数据的服务器上执行,其次在同机架的服务器上执行,最次在其他机架服务器上执行。欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML原创 2016-01-12 21:49:35 · 346 阅读 · 0 评论 -
Flume笔记
Flume 笔记Flume是一个高可用的分布式的海量日志采集、聚合和传输的系统。总体架构图flume的核心是把数据从数据源source收集过来,在将收集到的数据送到指定目的地(sink)。为了保证传输过程中不丢失数据,在送到目的地之前,会先缓存在通道中(channel),待数据发送到sink之,flume从通道中删除数据。source不断的接收数据,将数据封装成一个一个event,然后将...原创 2018-09-27 17:05:42 · 337 阅读 · 0 评论