- 博客(16)
- 收藏
- 关注
RSS订阅原创 Hadoop NameNode启动源码解析/nn介绍
Namenode介绍Namenode如同一个管理者的角色● 它负责维护整个hdfs文件系统的目录树结构以及文件所对应的block块信息（保存在磁盘上，因为文件与block块之间的关系不会发生变化）；● 它管理block块与datanode的映射关系（Namenode启动时候块上报，保存在内存中）；● 它能接收cilent的请求，接收datanode的块报告和心跳；Namenode服务主要靠3个重要类实现● Namenode类：启动类，管理配置等● Namenode server：NameNod
2022-05-17 20:33:56
513
原创 NM Restart功能详解与源码解析
https://issues.apache.org/jira/browse/YARN-1336版本不一致可能存在的问题https://issues.apache.org/jira/browse/YARN-5630nm重启NMNullStateStoreService：功能未开启时候使用这个实例NMLeveldbStateStoreService：功能开启后使用这个实例nm重启利用将状态存储到levelDB库中，存储在磁盘上，在启动时候读取状态，重新和app等关联起来重启不会导致containe
2022-04-14 20:11:26
507
原创 Hadoop Dynamometer工具详细教程，填坑日记
Dynamometer工具使用步骤Dynamometer介绍准备"材料"原理注意事项流程1.fsimage2.hadoop binary3.Configurations注意：后续所有的操作对象都是Hadoop A集群了4.Block Generation第1个坑来了，322目录是错的5.启动集群第二个坑来了，NN可能启动失败第三个坑来了，找不到ranger相关类6.模拟负载第四个坑来了，程序一直睡眠第五个坑来了，操作无效第六个坑来了，文件问题后续引入的思考Dynamometer简单介绍一下这个是啥？但其
2021-12-09 19:56:35
8385
原创 Hadoop HDFS创建文件/写数据流程、源码详细解析
HDFS创建文件/写数据源码解析HDFSHDFS写流程创建文件源码客户端DistributedFileSystemDFSClientDFSOutputStream客户端/Namenode协议DataStreamer租约LeaseRenewerNameNodeFSNamesystemFSDirWriteFileOp写数据客户端FSOutputSummerDFSOutputStreamDataStreamer创建block建立数据管道initDataStreaming();response.start();Na
2021-11-26 10:59:12
5914
原创 Hadoop Datanode 源码之BlockPoolManager源码流程
DN结构Datanode结构可划分为3个层BlockPoolManagerDN拥有一个BlockPoolManager实例（用于管理多个块池，一个名称空间只有一个块池），BlockPoolManager拥有多个BPOfferService对象（每个对象都封装对单个块池的api），对于BPOfferService对象的创建、移除、启动、停止等操作必须通过类BlockPoolManager的API来完成，每个BPOfferService拥有两个BPServiceActor，每个BPServiceActo
2021-11-26 10:32:35
1050
原创 Hadoop datanode启动源码解析
3.2.2 版本 DN启动流程DN流程图源码解析dn不多做介绍，启动流程相对简单，通过main方法开始，一步一步去看源码，本文源码解析只展示重要方法顺便求志同道合者，致力于大数据存储与计算有无交流群共同学习（Hadoop源码/性能调优/生产环境真实场景）DN流程图源码解析定位到DataNode.java，DN也是一个main程序public static void main(String args[]) { if (DFSUtil.parseHelpArgument(args, Da
2021-11-23 16:46:52
1452
转载 mac m1 idea hadoop3.2.2源码阅读环境
mac mi芯片无法编译protoc2.5.0https://cwiki.apache.org/confluence/display/HADOOP/Develop+on+Apple+Silicon+%28M1%29+macOS为了阅读源码，查阅资料，安装protoc2.5.0一直报不兼容错误等等发现现在的mac无法和protoc2.5.0兼容将就着看吧，后面需要阅读协议相关源码，只能重新尝试编译https://github.com/protocolbuffers/protobuf/releases
2021-10-09 16:36:10
363
原创 ZFKC原理及源码解析
ZFKC原理及源码解析原理概述流程HealthMonitorActiveStandbyElectorZKFCFencing源码原理概述NameNode主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现。HealthMonitor负责监控NN的健康情况，起一个线程去发送rpc请求，根据响应来确认NN状态，一旦状态发生改变时候通过回调函数通知zkfcActiveStandbyElector主要负责
2021-10-08 17:47:33
554
原创 Java爬虫京东（仅作为学习），使用线程池爬取页面数据
爬虫不多做介绍，本文用于对自己入门爬虫的记录JDK爬虫简单模板import org.junit.Test;import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.URL;public class JDKSpid
2020-12-26 20:33:49
528
1
原创 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:3.0.0:exec (default-cli)的解决方法
问题：maven项目在没有任何问题的情况下，运行main主方法报下列错误Failed to execute goal org.codehaus.mojo:exec-maven-plugin:3.0.0:exec (default-cli)idea 2020.1版本尝试网上很多方法，没有解决问题最后删除本地仓库中的 org.codehaus.mojo整个文件夹，运行main方法自动下载插件[INFO] Scanning for projects...Downloading from alimav
2020-12-17 10:05:21
5291
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人