hadoop理论知识
文章平均质量分 80
WJWFighting
AR测试
展开
-
HDFS的读写流程
HDFS写流程 NameNode负责管理存储在HDFS.上所有文件的元数据,它会确认客户端的请求,并记录下文件的名字和存储这个文件的DataNode集合。它把该信息存储在内存中的文件分配表里。例如,客户端发送一个请求给NameNode,说它要将“wjw. log”文件写入到HDFS。那么,其执行流程如图1所示。具体为: 第一步:客户端发消息给NameNode,说要将“wjw.1og”文件写...原创 2018-07-16 10:25:19 · 480 阅读 · 0 评论 -
Hadoop分布式文件系统(HDFS)简单的创建,优缺点及其原理
一:HDFS简单的创建在HDFS中创建一下目录: hdfs dfs -mkdir /user hdfs dfs -mkdir /user/wjw 可以通过hdfs|hadoop fs -ls / 可以查看目录是否创建成功在当前用户桌面创建文件wjw.txt。 touch wjw.txt 在wjw.txt中随便添加一下内容,保证有东西就可以了将wjw.txt这个文件上传到hdfs中 hdfs df...原创 2018-07-16 09:54:51 · 2119 阅读 · 0 评论 -
Flume ——故障转移
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力,而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。简单的说就是一个source 对应一个Sinkgroups,即多个sink,这里实际上与第六节的复用/复制情况差不多,只是这里考虑的是可靠性与性能,即故障转移与负载均衡的设置。下面是官方配...原创 2018-08-02 09:31:21 · 3596 阅读 · 0 评论 -
Hive、Hbase、mysql区别
Hive和HBase的区别Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉,...转载 2018-08-11 17:02:16 · 365 阅读 · 0 评论