HDFS
瓜牛呱呱
Hope is a good thing
展开
-
hadoop中hdfs文件上传
这里不讲解hdfs上传文件的代码,只讲hdfs文件上传的过程中内部的工作 原理一、客户端对hdfs各种操作的代码package com.Lin_wj1995.bigdata.hdfs;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import org.apache.hado原创 2016-08-09 12:10:08 · 5400 阅读 · 0 评论 -
hadoop中hdfs文件下载
一、不多说,按照惯例,先贴代码 还是建议粘贴到自己的eclipse中查看package com.Lin_wj1995.bigdata.hdfs;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configurat原创 2016-08-10 10:26:55 · 2216 阅读 · 0 评论 -
Kafka相比于HDFS的优势
今天看到了一个面试题,“数据为什么不直接采集到HDFS,而是采集到Kafka中”,觉得蛮经典了,整理了一下:个人总结了四点:1、实时性:hdfs的实时性没有kafka高。2、消费量的记录:hdfs不会记录你这个块文件消费到了哪里,而基于zookeeper的kafka会记录你消费的点。3、并发消费:hdfs不支持并发消费,而kafka支持并发消费,即多个consumer.4、弹性且有序:当数据量会很大原创 2017-05-08 15:50:51 · 5626 阅读 · 2 评论 -
联邦HDFS(HDFS Federation)
对于联邦HDFS的一些概念,我这里先不进行介绍;下面直接记录我对理解联邦HDFS时产生的疑惑以及疑惑的答案。问题产生:首先在我的理论知识中,联邦HDFS,就是有多个active的namenode,不同的namenode掌管hdfs中不同路径下文件的数据,互相隔离,互不影响。这里理论的论证就是,在CDH页面配置联邦HDFS时,需要指定装载点,即这个nameservice负责管理哪个目录下的数据。这让原创 2017-12-29 17:42:20 · 1475 阅读 · 0 评论