- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hbase写数据大概流程
**1.**发起put请求,put的时候连接zookeeper客户端,ZK进行校验(Master是否存在,是否能写) 2.然后返回一个meta元数据位置,就知道meta元数据信息在哪个机器上 **3.**请求这个机器,拿到meta表,下载到本地缓存存储,(缓存起来增加效率,不用每次都得拿) **4.**然后开始解析,解析put的数据应该存储在哪个机器的哪个Region上,找到位置后就请求这个机器RS要写数据,一边往Region对应的store所对应的内存中写,一个列族一个store,一个store对应一个.
2020-08-19 22:20:46
162
原创 Hbase读数据大概流程
**1.**发起请求,请求到zookeeper集群,帮助你返回元数据位置机器,找到这个机器,请求RS下载元数据表(meta) **2.**返回元数据表,然后做一个缓存解析,开始解析所拿到的表的行数据在哪个Region里,开始请求这个Region获取数据 **3.**取的数据可能取一个store或两个store 3.1先从region的内存(Memstore)中找,有的话返回,并且加到缓存块(CacheBlock)里,如果内存中有,写到缓存里, 3.2 如果内存中没有,就从缓存拿,然后返回, 3. 3 如果.
2020-08-19 22:18:52
122
转载 Hadoop生态圈原理文字整理
Hadoop生态圈原理整理 Hadoop 主要架构：HDFS，Mapreduce，Yarn Hdfs功能组件 namenode作用：1.管理文件目录结构 fsimage和Edits 2.管理数据节点Datanode DataNode的作用：具体存储数据的节点 SecondaryNamenode的作用：辅助生成目录镜像，定期加载fsimage和Edits合成新的fsimage返回namenode hdfs读原理 client访问NameNode，查询元数据信息，获得这个文件的数据块位置列表，返回输
2020-08-17 20:48:31
212
原创 Scala-Akka
SCALA Scala是什么? Scala语言是一种基于JVM的编程语言,具有强大的功能,它具有类似Java的面向对象的特征,而且也类似于C语言面向过程,函数也是一等公民,即不需要再隶属于哪一个类就可以执行.基于JVM的特性,使得scala和java可以无缝互操作,scala可以任意操作Java的代码,两者的关系密切. Scala是一种基于JVM的编程语言，学习目的主要是为了Spark的学习与相关代码的编写。 Scala——基于Akka的并发编程和分布式应用程序开发 基于Akka分布式技术开发分布式应用程序
2020-06-27 20:56:28
179
原创 MapReduce小总结
## 什么是MapReduce(分布式运算框架(模型)) 分布式:在一个操作中,需要多个系统之间配合才能完成的整个业务逻辑,叫做分布式系统 MapReduce:分布式运算框架,是hadoop的一个组件,用来计算的 可以统计hdfs里的数据 先map在reduce 怎么编程 本地运行 怎么运行 —> 集群上(yarn) (本地(local)运行模式 集群(yarn)运行模式) ## MapReduce主要有两部分组成 编程模式:提供简单的接口,实现几个简单的函数 实现分布式程序 Map Re
2020-06-07 17:41:50
240
2
Flink实战脑图.mmap.xmind
2020-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人