- 博客(15)
- 收藏
- 关注
RSS订阅原创 SPARK3 基于YARN的EXECUTOR的动态申请详解
最近工作中遇到RM（ResourceManager）性能慢的问题，研究了一下RM的资源分配流程，因为内部流程还是比较复杂的，为了以后方便查阅，记录一下。在研究YARN容器的生命周期的过程中，从Applicaiton的提交，到最后的完成，整个流程中容器的分配和删除主要是ApplicaitonMaster发起的，由RM内部的Scheduler来管理分配。本篇文章还是聚焦在spark的executor的分配逻辑上， 关于YARN内部container的分配流程计划单独写一篇文章记录，这里就不过多介绍，简要的说明下
2022-06-05 13:44:43
822
原创 hadoop客户端提交作业代码解读
客户端提交作业：YarnRunner.submitApplication() YarnClientImpl.submitApplication ApplicationClientProtocal.submitApplication() 提交到RM端在服务端，ResourceManager 里的组件 ClientRMService实现了ApplicationClientProtocalClientRMService.submitApplication RMAppMa...
2022-05-28 08:30:00
224
原创 Mapoutputbuffer解读
MapTask中使用的MapoutputBuffer解析Mapoutputbuffer是一个环形缓冲区，每个输入的Key->value键值对以及其索引信息都会写入到该缓冲区，当缓冲区快满的时候，有一个后台守护线程会负责对数据排序，将其写入到磁盘成员：1. kvbuffer: 字节数组，数据和数据的索引都会存在该数组中缓冲区分析2. kvmeta: 只是kvbuffer中索引存储部分的一个视角，因为索引往往是按照整形存储4字节，所以使用kvmeta来重新组织该部分字节3. equato
2022-05-28 08:28:21
152
原创 Hadoop安全基于Kerberos的SASL详解续
工作上由于需要给hive的metastore做逻辑元数据以及支持水平扩展，在waggle-dance的基础上增强了kerberos的功能，上线之后发现运行一天之后，请求失败，报GssException no tgt.waggle-dance在启动的时候，我调用过了UserGroupInformation.loginFromKeyTab() 方法， 登录之后，会生成一个全局的loginUser, 后面所有调用UserGroupInformation的地方都会获取到登录过的用户。登录成功之后，log
2022-05-08 12:36:54
956
原创 Hadoop UserGroupInformation详解
hadoop UserGroupInformation研究了很多次，每次都是朦朦胧胧，这一次花了一些力气，终于是搞明白了。下面大概了解下面Java的认证相关框架JAAS 认证和授权框架，只要负责用户的认证和权限。SASL client 和 server之间认证的框架GSS 是sasl的一个provider,也就是实现了sasl框架参考JAAS/GSS-API/SASL/Kerberos简介 | NoSQL漫谈网上关于high level介绍的还比较多，可以搜索一些，但是要真正理解Us
2022-04-03 11:23:48
6762
2
原创 Client 和 NN 创建Connection的详解（二）UserGroupInformation是如何传递的
Client.Connection.setupIOStreams()--->发送连接上下文 writeConnectionContext(remoteId, authMethod);发送的 IpcConnectionContextProto 里包含了UserGroupInformation/** * Spec for UserInformationProto is specified in ProtoUtil#makeIpcConnectionContext */m
2022-04-03 09:48:40
344
原创 Client 和 NN 创建Connection的详解（一）先尝试TOKEN的方式，再使用KERBOS
Clientprivate Connection getConnection(ConnectionId remoteId, Call call, int serviceClass, AtomicBoolean fallbackToSimpleAuth) --> connection.setupIOstreams(fallbackToSimpleAuth); --> 切换realUser的UGI建立Sasl连接 UserGroupInfo...
2022-04-02 17:46:20
582
原创 hadoop RPC框架源码分析
参考： Hadoop RPC框架_thomas0yang的博客-CSDN博客_hadoop rpcHadoop RPC分析SERVER：LISTENER： 打开客户端的请求，selector OP_ACCEPT, ServerSocketChannel server = (ServerSocketChannel) key.channel(); Reader reader = getReader(); Connection c = connecti...
2022-04-02 09:56:31
238
原创 HADOOP 3.3.0安装
参考https://blog.csdn.net/weixin_42768559/article/details/102915021
2021-07-25 18:21:48
122
1
原创 centos7的安装 U盘
参考的文章https://www.cnblogs.com/loveyejinhui/p/8042751.html按照参考文章碰到的问题1. 设置bois的启动顺序，开机按F1 进入之后，在START UP TAB下面设置U盘启动的顺序，使用+ -号调节顺序。 我的系统盘是 USB HDD.2. 安装好系统之后，ipconfig没有默认安装，运行命令yum install net-tools.x86_64可以安装ipconfig, netstats等命令3. 安装的..
2021-07-25 15:32:53
107
1
原创 如何阅读开源项目的源码
结合研读hadoop底层源码，总结的一些新的体会1. 先在网上找一篇文章，了解下大概的流程，一般网上写的都是大致的流程，没有太多细节。2. 找一个案例，围绕案例去研究代码，研究的过程中，会有很多疑问，如果一时看不下去了，就去网络搜索答案。3. 切记，不能只看书，书看了很快就会忘记。。。。4. 在看某个案例的时候，可以把代码的路径记录下来，方便以后查阅。...
2021-07-17 12:51:40
116
1
原创 ES往HIVE倒数据遇到时间格式问题
项目中遇到ES中的时间格式导入HIVE中，出现异常。今天晚上有空研究了一下Elasticsearch-hadoop 源码，发现HiveValueReader用的是下面这个方法在解析时间字符串DatatypeConverter.parseDateTime(value)没有用到ES中我们指定的时间格式。curl -XPUT 'localhost:9200/myind
2017-10-22 03:19:11
1787
原创 ubuntu 14.04.1 LTS 无线不可用，安装无线驱动
刚装了最新版的ubuntu, 装好之后，发现无线打不开，网上找了很多方法，最后发现是无线驱动没装，我的网卡是 Broadcom 公司的，他们公司的驱动是不开源的，所以ubuntu安装好一会是不会自带的，需要手动安装驱动。还好有一个开源的软件可以帮我们自动完成这个工作。sudo apt-get install firmware-b43-installerl
2014-12-13 12:55:51
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人