- 博客(4651)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 【java】CompletableFuture原理与实践-外卖商家端API的异步化
CompletableFuture是由Java 8引入的，在Java8之前我们一般通过Future实现异步。Future用于表示异步计算的结果，只能通过阻塞或者轮询的方式获取结果，而且不支持设置回调方法，Java 8之前若要设置回调一般会使用guava的ListenableFuture，回调的引入又会导致臭名昭著的回调地狱（下面的例子会通过ListenableFuture的使用来具体进行展示）。
2022-10-13 21:30:13
321
转载 【不体系】美团酒旅实时数据规则引擎应用实践 avaitor
自定义函数可以扩充Aviator功能，规则引擎可通过自定义函数执行因子及规则条件，如调用用户画像等第三方服务。系统内为支持运营需求扩展的部分自定义函数如表2（自定义函数示例）所示：文章最前面背景中提到的业务场景，在2. 用户为美团酒店老客，即用户曾购买过美团酒店产品中，判断用户是否为美团酒店老客，就用到了自定义函数，调用用户画像服务，通过用户画像标签进行判定。
2022-10-13 21:28:31
771
原创 【IDEA】IDEA 接口方法不能跳转到实体类实现方法的问题
IDEA 接口突然不能跳转到实现类具体方法，报 No implementation found 提示，而且在IDEA 左侧栏也不显示 I+向下的箭头，这个问题很诡异，之前还是好好的。就好了，重启后就可以跳转到下面实现类了。点击重启之后，就可以看到IDEA左侧栏有跳转到实体类方法的箭头标识了。但是我的环境，就算这样还是没有，无奈之下 重置idea。这个命令直接把idea干爆了，多次打开就直接关闭了。后来经过百度查找，其实是IDEA的缓存在作怪，后面好不容易好了，但是如下问题。的时候，最后执行命令。
2022-10-13 21:27:56
1639
转载 【netty】Netty堆外内存泄露排查盛宴
遇到堆外内存泄露不要怕，仔细耐心分析，总能找到思路，要多看日志，多分析。如果使用了 Netty 堆外内存，那么可以自行监控堆外内存的使用情况，不需要借助第三方工具，我们是使用的“反射”拿到的堆外内存的情况。逐渐缩小范围，直到 Bug 被找到。当我们确认某个线程的执行带来 Bug 时，可单步执行，可二分执行，定位到某行代码之后，跟到这段代码，然后继续单步执行或者二分的方式来定位最终出 Bug 的代码。这个方法屡试不爽，最后总能找到想要的 Bug。
2022-10-13 21:27:33
934
原创 【Flink】Flink 1.13 编译 报错 The following files had format violations -Dspotless.check.skip=true
增加参数 ，跳过licensing 检查继续报错。
2022-10-11 21:33:05
929
原创 【Flink】Flink 1.13 编译 报错 Too many files with unapproved license
1.概述flink-1.13]$ mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.8.3 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true增加 -Drat.skip=true 参数 ，跳过licensing 检查flink-1.13]$ mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.8.3 -Dmave
2022-10-09 20:41:50
352
原创 【ASM】字节码操作 转换已有的类 ClassReader 实战案例 修改版本 修改接口
【ASM】字节码操作 转换已有的类 ClassReader 使用在现阶段,我们接触了ClassVisitor、 ClassWriter和ClassReader类，因此可以介绍Class Transformation的操作。修改类的版本信息,是通过修改version这个参数实现的修改美的接口信息,是通过修改interfaces 这个参数实现的其实，在visit()方法当中的其它参数也可以修改:修改access参数,也就是修改了类的访问标识信息。修改name参数，也就是修改了类的名称。
2022-10-09 20:37:35
224
原创 【IDEA】Failed to find Premain-Class manifest attribute
在做 xxx 项目的时候，我执行报错代码结构如下然后执行的时候报错看着写的没问题呀，但是不晓得为啥报错后来打开jar包，发现果然没有Springboot java -jar 提示没没有主清单属性根据这篇文章改成如下不可以......然后报错这个，打开这个类，确实发现没有配置....后来发现这个玩意是自己配置的
2022-10-07 21:02:06
2802
原创 【hadoop】hadoop 报错 Operation category READ is not supported in state standby
今天我正在一个环境运行flink任务，然后偶然发现Flink任务突然挂了，界面运行的时候 也没有看到任务报错，然后下载日志发现有报错如下。可以看到没有Exception的错误。
2022-10-07 20:43:01
234
原创 【ASM】字节码操作 转换已有的类 ClassReader 使用
本章主要讲解如何使用ClassReader类。在现阶段。我们接触了ClassVisitor 、ClassWriter 和ClassReader类，因此可以介绍Class Transformation的操作。代码的整体处理流程是如下这样的: .我们可以将整体的处理流程想像成一条河流,那么第一步,构建。生成的ClassReader 对象,它是这条“河流”的“源头”。第二步，构建。生成的ClassWriter对象，它是这条“河流”的“归处”,它可以想像成是“百川东到海”中的“大海”。
2022-10-07 10:36:08
347
转载 【Flink】Flink中Key Groups与最大并行度
key的数据条目，先映射到所属Key Groups编号，再通过Key Groups编号映射到对应机器上的并行算子。举例：假如有Key-Groups有8组，算子并行度为3，8 / 3 = 2 余 2。Key-Group和Operator是对齐的，即编号小的KG在编号小的Operator里。进入Flink的数据有无限种可能，把无限可能的Key通过某种算法分成有限个组。如果最大并行度变动，Checkpoint不失效，那么在集群启动时，要把所以Key Groups编号重新计算。中的所有组均匀分配到现有的并行度上。
2022-10-05 11:36:23
686
原创 【Docker】Docker 在mac 环境下暂用大量的磁盘 Docker.qcow2 是什么
这些新扇区被附加到.qcow2文件中，导致其大小增加，直到最终被完全分配。我本次磁盘一直不够，升级好几次，然后也升级了docker多次，然后今天升级后，我删除了docker，然后很奇怪为啥磁盘看起来暂用了很多。我正在用DaisyDisk查看磁盘，并且有一个30GB的东西Docker.qcow2。然后我看磁盘管理的时候，点来点去，偶然看见一个32G的东西。然后本想直接删除，然后我想看看我的文件，结果发现容器和镜像都没有。后来多次打开，然后在没消失的时候，快速打开位置，发现了这个文件。
2022-10-05 10:12:56
466
原创 【ASM】字节码操作 转换已有的类 简介
在本章之前都是生成新的类，本章开始是转换已有的类。本章主要的类是如下部分功能。本章节主要的章节内容如下。
2022-10-01 09:21:27
151
原创 【ASM】字节码操作 Opcodes 介绍
本文主要对Opcodes接口里走义的字段进行介绍,内容总结如下:第一点，在Opcodes类定义的字段,主要应用于ClassVisitor和MethodVisitor美的visitXxx()方法。第二点，记忆方法。由于Opcodes 类定义的字段很多，我们可以分成不同的批次和类别来进行理解,慢慢去掌握。
2022-09-29 21:38:00
630
转载 【IDEA】已经改成UTF-8了 git提交properties还是乱码
最近提交代码，发现properties文件总是中文乱码，而且我这边看我的设置已经全部都是UTF-8了，怎么看都是对的，后来经过一番查找找到了原因。原因idea的File Encoding勾选了Transparent native-to-ascii conversion。所以最后我们全员统一全部勾选这个参数，保持不乱码。
2022-09-27 22:44:48
1887
原创 【ASM】字节码操作 Frame 深入
【ASM】字节码操作 如何使用 visitFrame在文章【ASM】字节码操作 生成一个新的类 StackMapTable 的由来文章中，我们知道，结构如下。在Code_attribute中有StackMapTable_attribute ,那么如果我们想看看这个内容是什么怎么看。假设有代码如下} else {} } }执行代码// 第一步，输入参数 String relative_path = "sample/frame/FrameFlag.class";
2022-09-26 21:27:58
346
转载 【算法】面试题 02.03. 删除中间节点
来源：力扣（LeetCode）若链表中的某个节点，既不是链表头节点，也不是链表尾节点，则称其为该链表的「中间节点」。假定已知链表的某一个中间节点，请实现一种算法，将该节点从链表中删除。例如，传入节点 c（位于单向链表 a->b->c->d->e->f 中），将其删除后，剩余链表为 a->b->d->e->f。
2022-09-25 16:54:07
269
转载 【算法】相爱相杀好基友——数组与链表
无法高效获取长度，无法根据偏移快速访问元素，是链表的两个劣势。然而面试的时候经常碰见诸如获取倒数第k个元素，获取中间位置的元素，判断链表是否存在环，判断环的长度等和长度与位置有关的问题。这些问题都可以通过灵活运用双指针来解决。双指针并不是固定的公式，而是一种思维方式 ~
2022-09-25 16:44:00
162
原创 【算法】面试题 02.02. 返回倒数第 k 个节点
出自：程序员面试金典（第 6 版）面试题 02.02. 返回倒数第 k 个节点实现一种算法，找出单向链表中倒数第 k 个节点。返回该节点的值。注意：本题相对原题稍作改动输入： 1 -> 2 -> 3 -> 4 -> 5 和 k = 2 输出： 4说明：给定的 k 保证是有效的。
2022-09-25 14:07:55
177
原创 【ASM】字节码操作 如何使用 visitFrame
本文主要对frame进行了介绍,内容总结如下:第一点，在ClassFile结构中，StackMapTable结构是如何得到的。第二点,不推荐使用MethodVisitor .visitFrame()方法,原因是frame的计算复杂,容易出错。我们可以在创建ClassWriter对象的时候,使用参数，这样ASM就会帮助我们计算frame的值到底是多少。
2022-09-24 16:03:35
519
6
转载 【Flink】Flink 1.13 侧流输出源码解析
通过对侧流输出的源码进行解析，在分流的时候，数据是通过广播的方式发送到下游算子的，对于主流的数据来说，只有 OutputTag 为空的才会处理，侧流因为 OutputTag 不为空，所以直接返回，不做任何处理，那对于侧流的数据来说，是通过判断两个 OutputTag 是否相等，所以每次只会把数据发送到下游对应的那一个侧流上去，这样即可实现分流逻辑。
2022-09-24 10:10:54
340
原创 【Flink】Flink Inconsistent execution state after stopping with savepoint
Flink 创建 saveption的时候 遇到这个异常的吗。详情信息如下【Flink】Flink 1.13 版本 SavePoint 源码分析具体的报错信息在如下// 处理全局异常 scheduler . handleGlobalFailure(inconsistentFinalStateException);}最终解决：我想到的之前配置一个允许ck不对齐情况设置下这个参数即可这个参数的含义如下/*** 启用未对齐的检查点，这大大减少了在反压力下检查点的时间*
2022-09-24 09:50:09
498
原创 【Flink】Flink 1.13 版本 SavePoint 源码分析
然后是调用triggerSavepointInternal方法，该方法中调用 triggerCheckpoint 触发Savepoint ，然后完成后调用相关的完成方法，或者异常处理方法。异常处理 StopWithSavepointTerminationHandler 的终止，不触发全局作业故障转移，但重新启动检查点。根据 StopWithSavepointTerminationHandler 的契约，强制传入的 CompletableFuture 实例的正确完成顺序。通知异常信息需要给不同的重启策略。
2022-09-22 21:36:00
538
原创 【Flink】Flink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs
看这个起源于一个群友的问题。群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfs jar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数。然后我在源码中找到如下案例顺便把整篇文章翻译了一下。
2022-09-19 21:22:58
790
原创 【ASM】字节码操作 生成一个新的类 StackMapTable 的由来
【ASM】字节码操作 Label 生成 try catch 语句前N章节都是基础，本章节开始比较难了。这里主要是处理代码突然发生变化了。这个状态是需要记录下来了。在ClassFile结构中,有一一个结构,它们关系如下。在ClassFile结构中,每一一个方法都对应于结构;在结构中,方法体的代码存储在Code结构内;在Code结构中, frame的变化存储在StackMapTable结构中。【ASM】字节码操作 方法的初始化 Frame假设有个代码如下} else {} } }
2022-09-17 12:46:05
340
转载 【zookeeper】zookeeper 性能优化与配置详解 一些踩坑建议
ZooKeeper的功能特性通过ZooKeeper配置文件来进行控制管理（ zoo.cfg配置文件）。ZooKeeper这样的设计其实是有它自身的原因的。通过前面对ZooKeeper的配置可以看出，对ZooKeeper集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很少的部分是不同的）。这样的配置方使得在部署ZooKeeper服务的时候非常地方便。另外，如果服务器使用不同的配置文件，必须要确保不同配置文件中的服务器列表相匹配。
2022-09-15 22:12:29
4777
原创 【ASM】字节码操作 Label 生成 try catch 语句
【ASM】字节码操作 Label 生成 for 循环 语句本章节主要内容是生成try catch 语句。目标是生成如下代码try {} } }实现类/*** todo: 【ASM】字节码操作 Label 生成 try catch 语句*// (1) 生成byte[]内容 byte [ ] bytes = dump();// (2) 保存byte[]到文件 FileUtils . writeBytes(filepath , bytes);
2022-09-14 20:19:14
256
原创 【Flink】Flink 提交任务报错 File does not exit /tmp/application_xxx-flink-conf.yml
Flink 升级报错这个错误可能有什么原因导致的呢？我从Hadoop2升级到Hadoop3，一切都配置完成了，发布的时候有这个问题，我是不是遗漏了什么配置？根据报错找到相应的源码这个地方为什么上面明明创建了本地配置文件，然后下面注册本地资源的时候报找不到该本地配置文件呢？这个方法不应该返回true的最终解决：仔细检查了下配置，fs.scheme用了其他位置的设置。结果判断出了是remotePath。
2022-09-12 21:30:04
1110
转载 【Flink】Flink 流批 一体 下 新的 Connector
出自：作者： 任庆盛阿里巴巴研发工程师连接器是 Flink 与外部系统间沟通的桥梁。如： 我们需要从 Kafka 里读取数据， 在 Flink 里把数据处理之后再重新写回到 HIVE、 elastic search 这样的外部系统里去上图显示的是一项十分典型的例子。我们首先从 kafka 里通过 Source 读取其中的部分记录。
2022-09-12 13:36:49
749
原创 【Flink】Flink RocksDBListState getInternal 状态太大 导致OOM Java heap space
FLink使用RocksDBListState 这个内存溢出，是不是这个窗口里面的数据太多了导致的?根据报错找到报错位置try {} }看起来是从RocksDB 中反序列化数据，数据太大导致，应该缩小状态大小，比如缩小窗口。
2022-09-10 01:07:38
880
原创 【Flink】Flink 运行报错 does not have any open files
运行flink的时候任务，ck报这个错是不是设置的ck间隔太小了?报错。详情如下最上面的一个warn对应的源码如下如果流只是关闭，则删除生成的文件(例如，通过自动关闭特性进行清理)。如果删除失败，此方法不抛出异常，只记录错误。if(!closed) {= null) {try {try {} } } } }HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）...............
2022-09-08 20:57:39
587
原创 【ASM】字节码操作 Label 生成 for 循环 语句
通过上面的示例,我们注意三个知识点:第一点，如何使用ClassWriter类。第二点，在使用MethodVisiton类时,其中visitXxx()方法需要遵循的调用顺序。第三点，如何通过Label类来实现for语句。W。
2022-09-06 21:22:40
238
转载 【mysql】HikariCP不断打印WARN日志Failed to validate connection JDBC4Connectio Possibly consider using a shor
接下来我在网上搜，发现各种的解决都有，大部分都是通过设置更短的时间解决的，但是很少有说为什么设置的这么短就可以解决，而且每个人的数据库配置都是不一样的，所以实际上没什么借鉴意义。然后我在搜索的时候发现有一个结果是导向了GitHub的，我想到这个问题应该是很常见的，而且GitHub上作者也会那么我就到GitHub上HikariCP 的issue里面进行搜索，发现了这么一个issue，这个issue也有作者在里面回答，作者的回答主要是检查mysql的连接时间和是否有获取并自行关闭了底层的connection。
2022-09-06 21:22:17
2277
转载 【Flink】Flink 批处理模式 消费指定的 offset 结束
Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保证恰好一次次语义。Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。最近的 Kafka 客户端向后兼容 broker 版本 0.10.0 或更高版本。关于 Kafka 兼容性的详细信息，请参考 Kafka 官方 文档。
2022-09-06 21:21:26
1132
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人