2020年11月_星尘之子

12月 11月 10月 09月

原创 hadoop2.8.5源码编译（亲测无坑）

1 前期准备1.1 所需软件hadoop-2.8.5-src.tar.gzjdk-8u144-linux-x64.tar.gzapache-maven-3.6.3-bin.tar.gzapache-ant-1.9.15-bin.tar.gzprotobuf-2.5.0.tar.gzopenssl-develncurses-develglibc-headers 和 g++make和cmake下载地址为：1.2 环境配置规划：在/opt下创建两个目录，分别为/opt/softwa

2020-11-25 22:58:21 414

原创 Linux awk命令使用详解

awk是一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。1 基本用法awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filenamepattern：表示AWK在数据中查找的内容，就是匹配模式action：在找到匹配内容时所执行的一系列命令2 选项参数说明选项参数功能-F指定输入文件分隔符,默认为空格-v赋值一个用户定义变量3 命令格式命令格式：aw

2020-11-23 21:37:25 730

原创 HDFS文件目录结构详解

Namenode中主要存储fsimage和editlog文件，Datanode中主要存储数据块blk文件。下面分别介绍Namenode和Datanode中的文件存储结构。文章目录1 Namenode1.1 文件所在位置1 Namenode1.1 文件所在位置文件所在位置由hdfs-site.xml中的配置项dfs.namenode.name.dir配置。这些文件都存于${dfs.namenode.name.dir}/current文件夹下，在dfs.namenode.name.dir配置项中可以配置

2020-11-22 09:11:03 6737

原创 Linux sed命令使用详解

文章目录1 基本用法2 选项参数说明3 命令功能描述4 具体应用4.1 删除行4.2 添加行4.3 替换内容1 基本用法sed [选项参数] ‘command’ filename2 选项参数说明选项参数功能-esed后可以跟多个-e，每个-e指定一个操作。-i改变原文件内容3 命令功能描述命令功能描述a新增，a的后面可以接字串，在下一行出现d删除s查找并替换4 具体应用以Linux中/etc/fstab文件为例，

2020-11-21 22:42:30 243

原创 yarn日志聚合配置项大全

（1）yarn.log-aggregation-enable：是否开启日志聚合。是否启用日志聚合。日志聚合在应用程序完成后收集每个容器的日志，并将这些日志移动到文件系统中，例如 HDFS。用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。用户可以通过Application Timeline Server访问日志。<property>

2020-11-15 09:10:59 1775

原创 RPC服务端Server

源头：1 NameNode的initialize方法中会构造NameNodeRpcServer对象rpcServer，在NameNodeRpcServer构造方法中会构造Server对象。即第1步会调用Server的构造方法。2 NameNode的initialize方法中会调用startCommonService方法，该方法中会调用rpcServer.start()，rpcServer.start()方法又会调用第1步构造的Server对象的start方法。即第2步会调用Server的start方法。

2020-11-13 19:08:00 1465

原创 HDFS RPC客户端处理流程详解

源头：在ProtobufRpcEngine.Invoker的invoke()方法中会调用client.call()方法。将RPC请求信息封装成一个Call对象创建Connection对象管理客户端和服务端的Socket连接Call对象会放入Connection.calls字段中Connection对象会放入Client.connections字段中以供复用。通过Connection.setupIOstreams()方法建立客户端与服务端的Socket的连接setup

2020-11-13 19:03:56 516

原创 Hadoop RPC详解

文章目录1 定义RPC协议2 实现RPC协议2.1 真实现（服务端）2.2 假实现（客户端）3 client端获得代理对象3.1 NonHA proxy3.2 （todo）HA proxy4 server端启动监听5 总结5 总结 Hadoop中使用RPC的场景很多，比如client和Namenode之间，Namenode和Datanode之间，Namenode和Namenode之间等等。本文只讨论client和Namenode之间的RPC机制，把这一种搞懂了，其它几种也迎刃而解，因为都是同样的道理。H

2020-11-07 22:56:55 600

原创 editLog刷盘时机和日志重置

文章目录1 刷盘时机2 日志重置2.1 ANN端触发2.2 SNN端触发2.2.1 EditLogTailerThread线程的启动2.2.2 EditLogTailerThread线程run()方法2.2.2.1 编辑日志重置2.2.2.2 编辑日志追踪3 总结用户对命名空间的修改（包括创建、删除、写入等）都会被记录到editlog文件中，但一开始是记录在缓冲区的，它是什么情况下从缓冲区刷到磁盘上是我们接下来要讨论的第一个问题，具体见刷盘时机一节。另外，即使我们对命名空间没做任何修改，ANN（Act

2020-11-01 15:39:29 945

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

m0_37613244的博客