hadoop3
chj_xc
玩玩IT
展开
-
hadoop3重要新特性——擦除编码解释
新型可扩展的数据保护方式——擦除编码 一、概述 在之前存储系统中,一般都采用RAID技术来对数据进行保护,一旦阵列中某块硬盘损坏,可通过RAID技术所形成的镜像来对丢失数据进行恢复。但随着海量数据问题的出现,RAID越来越难发挥其作用。如采用2TB的硬盘作为存储介质,某块硬盘故障,使用镜像对其进行恢复,大概需要4个小时,而这还是将恢复作为最高优先级的情况下才能实现的数据恢复时间。但在实际情转载 2017-02-07 10:03:37 · 2307 阅读 · 1 评论 -
hadoop3新特性
Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。 1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的转载 2017-02-07 10:28:59 · 4121 阅读 · 0 评论 -
flume入门
Flume1.5.0入门:安装、部署、及flume的案例 1.什么是flume 2.flume的官方网站在哪里? 3.flume有哪些术语? 4.如何配置flume数据源码? 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original gene转载 2017-02-09 10:45:19 · 590 阅读 · 0 评论