- 博客(4269)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【yarn】yarn RMApp状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务，现在我们要看RMApp状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-06-07 20:16:57
9
原创 【yarn】yarn TaskAttempt 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-06-05 21:04:23
14
转载 【字节码】Java Agent 实现方法时间统计、arthas的trace命令分析
团队中有同事在做性能优化相关的工作，因为公司基础设施不足，同事在代码中写了大量的代码统计某个方法的耗时，大概的代码形式就是这样的代码非常多，侵入性很大，联想到之前学习的Java Agent技术，可以无侵入式地解决这类问题，所以做了一个很小很小的demo。
2023-06-04 09:48:44
30
转载 【java】使用线程之间的通讯方式实现生产者和消费者 wait、notify、await、signal 消息通知机制
转载：一篇文章，让你彻底弄懂生产者–消费者问题.md生产者-消费者模式是一个十分经典的多线程并发协作的模式，弄懂生产者-消费者问题能够让我们对并发编程的理解加深。所谓生产者-消费者问题，实际上主要是包含了两类线程，一种是生产者线程用于生产数据，另一种是消费者线程用于消费数据，为了解耦生产者和消费者的关系，通常会采用共享的数据区域，就像是一个仓库，生产者生产数据之后直接放置在共享数据区中，并不需要关心消费者的行为；而消费者只需要从共享数据区中去获取数据，就不再需要关心生产者的行为。但是，这个共享数据区域中应该
2023-06-03 22:44:49
23
转载 【java】从源码深入详解ThreadLocal内存泄漏问题
null但是该entry的key为null，说明找到了一个脏entry，先将n置为哈希表的长度len,然后继续调用expungeStaleEntry方法，该方法会将当前索引为3的脏entry给清除掉（令value为null，并且table[3]也为null）,但是该方法可不想偷懒，它会继续往后环形搜索，往后会发现索引为4,5的位置的entry同样为脏entry，索引为6的位置的entry不是脏entry保持不变，直至i=7的时候此处table[7]位null，该方法就以i=7返回。至此，第二趟搜索结束；
2023-06-03 19:07:23
22
转载 【java】并发容器之ConcurrentHashMap(JDK 1.8版本)
在使用HashMap时在多线程情况下扩容会出现CPU接近100%的情况，因为hashmap并不是线程安全的，通常我们可以使用在java体系中古老的hashtable类，该类基本上所有的方法都采用synchronized进行线程安全的控制，可想而知，在高并发的情况下，每次只有一个线程能够获取对象监视器锁，这样的并发性能的确不令人满意。另外一种方式通过Collections的将hashmap包装成一个线程安全的map。
2023-06-03 16:35:01
32
原创 【yarn】yarn Task 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-06-03 09:31:35
13
原创 【yarn】yarn Job 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。今天6月1日，节日值得发个文章，庆祝一下。可以看到正常执行会有7个状态机的转换。
2023-06-01 20:45:10
20
原创 【yarn】yarn LocalizedResource 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-31 21:04:46
18
转载 【开发工具-Guava】新集合类型
Guava引入了很多JDK没有的、但我们发现明显有用的新集合类型。这些新类型是为了和JDK集合框架共存，而没有往JDK集合抽象中硬塞其他概念。作为一般规则，Guava集合非常精准地遵循了JDK接口契约。
2023-05-31 20:08:07
22
原创 【yarn】yarn Container 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-29 22:05:02
62
原创 【yarn】yarn RMContainer 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-27 08:49:52
57
原创 【yarn】yarn RMStateStore 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-26 20:39:52
56
原创 【yarn】yarn Application 状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-23 20:18:39
75
原创 【yarn】yarn RMAppAttempt状态机正常执行流程
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看RMAppAttempt状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
2023-05-21 21:53:14
71
转载 【MySQL】数据库系统原理
转载：https://github.com/CyC2018/CS-Notes事务指的是满足 ACID 特性的一组操作，可以通过 Commit 提交一个事务，也可以使用 Rollback 进行回滚。事务被视为不可分割的最小单元，事务的所有操作要么全部提交成功，要么全部失败回滚。回滚可以用回滚日志（Undo Log）来实现，回滚日志记录着事务所执行的修改操作，在回滚时反向执行这些修改操作即可。数据库在事务执行前后都保持一致性状态。在一致性状态下，所有事务对同一个数据的读取结果都是相同的。一个事务所做的修改在最终
2023-05-20 15:01:30
85
原创 【Yarn】Yarn Service端如何处理客户端提交的任务
在上一篇文章中【Yarn】Yarn App 启动源码，我们从客户端开始，经过一系列操作后，我们终于从客户端提交任务到了服务器。在本章节我们将处理服务端是如何处理客户端的提交任务请求的。
2023-05-19 21:18:11
124
原创 【开源介绍】命令行的艺术( the-art-of-command-line )
转载：命令行的艺术( the-art-of-command-line )
2023-05-14 18:17:07
30
1
原创 【字节码】javassist 官网翻译 第1章节
要从头定义一个新类，必须在ClassPool上调用makeClass()。这个程序定义了一个不包含成员的类Point。Point的成员方法可以通过在CtNewMethod中声明的工厂方法创建，并通过在CtClass中使用addMethod()添加到Point。makeClass()不能创建新接口;ClassPool中的makeInterface()所能做的。可以使用CtNewMethod中的abstractMethod()创建接口中的成员方法。注意，接口方法是一个抽象方法。新类可以定义为现有类的副本。
2023-05-13 12:34:22
57
原创 【字节码】Javassist如何表示类变量
【javassist】使用javassist修改kafka源码AbstractCoordinator类一度让我陷入误区。如何在方法中表示类变量呢？下面是要修改的方法比如，this.coordinator要在字节码中表示，开始我参考【javassist】javassist 入门案例 生成类因为方法参数都是用$1这样表示的，但是我犯难了，这里是类变量，我以为要先获取类属性，常量池之类的，然后再替换这里的属性，后来发现不是，可以直接使用。这里记录一下犯蠢的过程。
2023-05-11 21:24:02
72
原创 【FLink】Flink 使用 javaagent 日志冲突问题
【Flink】Flink任务如何在运行的时候使用javaagent修改类字节码做这个的时候出现的。我在使用【javassist】使用javassist修改kafka源码AbstractCoordinator类这个包的时候，发现我提交flink本地和远程的都不打印日志了。怀疑是日志冲突，因为我的flink已经有了一套日志系统，然后我的代码又有一套日志系统。
2023-05-09 13:46:48
109
原创 【Flink】Flink使用javaagent字节码修改文件 Error opening zip file or JAR manifest missing
开始的时候路径是这样的我觉得应该是上级目录，然后在下级，但是报错然我我以为是没有自动上传到Hadopp上，然后看了日志发现提交上去了但是发现不可以，后来我改成全路径发现也不可以发现也不可以。后来群里提示是路径问题，经过一番查找，终于使用路径。
2023-05-07 17:54:51
97
原创 【Flink】Flink任务如何在运行的时候使用javaagent修改类字节码
在【javassist】使用javassist修改kafka源码AbstractCoordinator类这个文章中，我们学到了在javaweb中，实现了修改kafka的运行时代码。这一章我们将把这个应用到flink集群上。这里我们先把包放到如下目录然后修改启动任务的脚本提交的命令如下这里我们将我们的参数从传入到flink集群了。提交命令的本地日志可以看到我们的打印如下然后在远程可以yarn日志也能看到加载了我们的日志然后提交任务成功后，可以看到如下打印的日志。
2023-05-05 20:40:11
108
原创 【javassist】使用javassist修改kafka源码AbstractCoordinator类
在以前遇到kafka消费组死掉，一直没去确认kafka什么情况下会导致消费组死掉，因为直接看源码，看待调用的地方比较多，好几次都想直接修改源码，但是因为要改动的比较多，怕以后不兼容，然后前几天学了字节码相关的，发现这个非常的好用。【kafka】kafka 查看 GroupCoordinator 和 ConsumerCoordinator【kafka】消费组 死掉 kafka Marking the coordinator dead for group。
2023-05-03 10:43:48
121
原创 【Flink】FLink SQL Record size is too large for CollectSinkFunction
flink任务报错 Record size is too large for CollectSinkFunction这个值加大点。参数解释如下/*** 编译器用于分隔输入的行样例的最大长度。如果单个样本的长度超过这个值(可能是因为解析器的错误配置)，* 则采样终止。对于特定的输入，可以使用输入格式的参数重写该值。对应的代码如下try {/**** 2022/7/28 下午9:53 lcc 九师兄} }
2023-05-01 22:35:55
112
原创 【Flink】FLink session yarn kerberos认证报错 PortUnreachableException: ICMP Port Unreachable
本篇博客是在上一篇博客：【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm还没找到原因的时候做的一次尝试。因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下# kerberos认证需要的东西提交任务的脚本如下。
2023-05-01 10:46:20
90
1
原创 【Flink】flink on yarn per-job模式jobmanager不退出
flink on yarn per-job模式，使用savepoint 保存点停止任务后，yarn界面上还剩下一个jobmanager 一直显示在。yarn-cluster -d 加上， 不加-d task结束会保留jobmanager。原因一样，后来发现不是。开始遇到这个问题以为和。
2023-04-29 11:03:21
128
原创 【Spring】RestTemplate访问https
今天要对接华为的环境，然后我们要使用https连接对方的yarn环境，对方的访问地址如下而且要输入用户名个密码。原先我们这个代码是访问的http，然后需要输入用户名和秘密，但是没有支持https.//该url上携带用户名密码是httpbin网站测试接口的要求， //真实的业务是不需要在url上体现basic auth用户名密码的 String url = "http://www.httpbin.org/basic-auth/admin/adminpwd";
2023-04-27 22:09:39
152
原创 【Yarn】Yarn App 启动源码
【Yarn】Yarn 状态机 运行体系在YARN中，ResourceManager 负责集群中所有资源的统一管理和分配， 它接收来自各个节点(NodeManager) 的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationMaster)。YARN的ResourceManager是集群主节点，内部运行非常重要的三个RPC服务端，分别为Client, ApplicationMaster, NodeManager 提供服务。通过该RPC协议向注册、汇报节点健康状况和。
2023-04-25 21:30:59
187
原创 【javassist】CannotCompileException: [source error] boolean expr is required
【javassist】使用javassist修改kafka源码AbstractCoordinator类这里原本有一个布尔类型的变量，根据文档【javassist】javassist 入门案例 生成类这里要用$1表示的，但是我这里怎么写都不对。如下使用if (!$1)是不对的。
2023-04-23 19:23:19
216
1
原创 【javassist】javassist.CannotCompileException: [source error] no such class
【javassist】使用javassist修改kafka源码AbstractCoordinator类原始的方法如下，中间的try catch是我加的。// 九师兄 if(this . coordinator!= null) {try {throw new IllegalArgumentException("消费组死掉");log . error("消费组死掉异常栈：" , e);
2023-04-21 20:26:35
246
原创 【IDEA】idea一直处于scanning files to index状态然后闪退
先说一下情况，情况是我原本是本地加载了flink的源码项目，用来看源码的，但是昨天不知道怎么回事，然后源码打不开了，打开就会直接一直处于。而且电脑发热。尝试清空缓存，然后重启没有效果。上一次遇到这个情况是这样解决的，但是这次不行，怎么搞都不行。
2023-04-19 20:49:25
276
转载 【IDEA】idea 一直scanning files to index的四种解决方法
不重启的情况下（重启也不一定好用），更改idea配置路径即可起到刷新的效果，或者尝试放开、注掉配置文件，再或者拿同事好用的配置文件直接覆盖…项目文件过多的情况会创建索引就会很慢，所以可以把文件数量很大的目录排除创建索引的范围就可以了。将扫描的文件夹排除在建立索引的范围之外，即将xxx文件夹标记为Excluded。重启idea，重装idea，关机重启，kill idea进程都不好使。重新download的代码一样的问题，所以一定是配置的问题。更改完毕后，关闭idea，任务管理器杀死进程，重新启动。
2023-04-19 20:48:39
311
原创 【Yarn】Yarn 是如何提交 MapReducer程序到Yarn集群的
【Yarn】Yarn MapReduce 程序开发本文章是在上一篇文章的基础上进行继续分析的。p=45clinet是如何提交任务到Server端的？整体提交任务的流程如下下面将进行更加细致的分析 九师兄 20220722 日补充，下面先看一个案例。
2023-04-17 20:40:20
269
原创 【Elasticsearch】Elasticsearch 相关书籍
书籍：[这就是搜索引擎：核心技术详解].张俊林.pdf。简介： 一本技术顶层的俯视图。
2023-04-16 10:54:35
302
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人