Hadoop
文章平均质量分 89
LafreeBing泉
慎独
展开
-
Hadoop HDFS文件系统
HDFS详解(性能,架构,基本储存单元,读写分析,组成,SNN合并,安全模式)性能HDFS 天生是为大规模数据存储与计算服务的,而对大规模数据的处理目前还有没比较稳妥的解决方案。 HDFS 将将要存储的大文件进行分割,分割到既定的存储块(Block)中进行了存储,并通过本地设定的任务节点进行预处理,从而解决对大文件存储与计算的需求。、 * 在实际工作中,除了某些尺寸较大的文件要求进行存储...原创 2018-09-15 15:53:06 · 2429 阅读 · 2 评论 -
Hadoop的High Available 机制
Hadoop的High Available 机制#hadoop正式引入HA是从Hadoop2.0开始,之前的版本中没有HA机制HA的运作机制Hadoop—HA 集群运作机制介绍所谓HA,即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障Hadoop-ha严格来说应该分为各个组件的HA机制Hadoop——HA yarn——HAHDFS的HA机制详解通过双Name...原创 2018-09-20 15:45:54 · 307 阅读 · 0 评论 -
mapreduce框架讲解
mapreduce#hadoop/mapreduceMapReduce将复杂的,运行于大规模集群上的并行计算过程高度的抽象到了两个函数:map和reduce编程变得容易,不需要掌握分布式并行编程细节,也可以很容易把自己的程序运行在分布式系统上,完成海量数据的计算MapReduce采用分而治之的策略,一个储存在分布式文件系统中的大规模数据集,会被切分为许多独立的分片(split),这些分片可...原创 2018-09-20 15:48:04 · 1011 阅读 · 0 评论 -
HDFS HA补充
HDFS HA补充#hadoopHDFS HA命令hdfs dfsadmin -report 报告集群情况hdfs haadmin -getServiceState nn2 查看NameNode2 是active还是standbyhdfs hasdmin -transitionToActive --forcemanual nn2 手动将nn2 转为active会报告nn1 is alr...原创 2018-09-20 15:50:31 · 233 阅读 · 1 评论 -
Hbase架构
Hbase架构#hadoop/hbase物理存储结构:一: 整体结构Table 中的所有的行都按照row key的字典序列排列Table 在行的方向上分割为多个regionregion按大小分割的(10G),每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阈值的时候,region就会等分为两个新的region。当table中行不断增...原创 2018-11-19 17:47:56 · 311 阅读 · 0 评论 -
Hbase 读写流程,寻址流程,路由机制
Hbase 读写流程,寻址流程,路由机制#hadoop/hbase读写过程1.读请求1.客户端通过zookeeper以及root表和meta表找到目标数据所在的region server2.联系regionserver查询目标数据4.region现在memstore总查找,则在storefile中花钱(可能会扫描到很多的storefile—bloomfilter)2.写请求过程1...原创 2018-11-19 17:49:17 · 1236 阅读 · 0 评论