HDFS
Markooa
这个作者很懒,什么都没留下…
展开
-
用 Hadoop 进行分布式并行编程(一)基本概念与安装部署
基本概念与安装部署转载 2014-11-07 09:22:49 · 1060 阅读 · 0 评论 -
Hadoop数据传输工具sqoop(四)Java远程调用Sqoop进行数据传输
1、Maven配置 org.apache.sqoop sqoop 1.4.52、Java代码@Servicepublic class SqoopTestServiceImpl implements SqoopTestService{ //测试代码 public static void main(String[] args) { tr原创 2014-11-26 19:19:45 · 7956 阅读 · 5 评论 -
Flume NG:Flume 发展史上的第一次革命
Flume 作为 cloudera 开发的实时日志收集系统,已经受到越来越多的关注。比如 IBM BigInsights 已经将 Flume 作为产品的一部分。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤转载 2014-11-28 15:04:56 · 662 阅读 · 0 评论 -
Hadoop 2.0中单点故障解决方案
Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,众所周知,这两个系统的设计缺陷是单点故障,即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题,该问题在很长时间内没有解决,这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣慰的是,这些问题在Hadoop 2.0中得到了非常完整的解决。Hadoop 2.0内核由三转载 2014-12-17 13:40:56 · 930 阅读 · 0 评论