- 博客(5366)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【kafka】kafka报错IOException: No space left on device
20240126日，今天遇到一个kafka环境报错：IOException: No space left on device。此时修改保留时间已经无效了，因为你需要先重启kafka，但是现在无法重启，因此只能清楚topic数据，然后重启。怀疑是kafka日志太多和flink yarn 日志太多。然后查看磁盘总量信息已经不足了。
2025-10-15 00:30:00
6
原创 【MySQL】放弃RR选择RC，通过for update理解MySQL锁定机制
在阿里云的数据库中默认的级别是RC(读已提交)，但是在MySQL默认基本是RR(可重复读)，为什么阿里云要修改隔离级别呢？为什么要选择RC(读已提交)呢？因为加锁是跟数据库的隔离级别息息相关的。而常用的数据库隔离级别也就RC(读已提交)和RR(可重复读)，所以本文分别根据RC(读已提交） 和RR(可重复读)隔离级别展开讲述。
2025-10-15 00:15:00
120
原创 【docker】docker启动MySQL容器无法输出中文
事情是这样的，我有个sql语句带有中文，但是我直接复制到黑窗口里面运行，发现我的中文不见了。而且手动也无法输出Sql如下但是复制后如下查询如下是不是已经有了呢？但是不显示呢？结果不是。
2025-10-14 00:30:00
145
原创 【PostgreSQL】PostgreSQL用户操作
在您的情况下，表 “test” 的所有者是 “postgres” 用户，而您正在使用用户 “test” 进行查询。因此，即使您设置了正确的搜索路径，由于用户 “test” 缺乏对该表的权限，您将无法查询到该表。表的所有者（Owner）对于其他用户来说是很重要的。默认情况下，只有所有者和超级用户（如 “postgres” 用户）才具有对该表的完全访问权限。这将把表 “test” 的所有权转移给用户 “test”，使其具有对该表的完全权限。但是表的Owner是postgres，这个是我查不到的原因吗？
2025-10-14 00:15:00
8
原创 【PostgreSQL】如何备份PostgreSQL数据库
如果您在生产环境中使用PostgresQL，请务必采取预防措施以确保用户的数据不会丟失。
2025-10-10 03:30:00
127
原创 【PostgreSQL】Mac使用dmg包安装PostgreSQL
点击这里下载，比较隐秘的位置然后下载的包如下然后下载后直接安装就好了。但是要注意安装位置不要变，我两次安装变了位置都没有安装成功其次是数据库的密码不要写的太简单，可以写postgres然后下一步下一步就好了安装完毕后，如图我们启动pgAdmin可以连接如下我们也可以是使用命令行连接。
2025-10-10 03:15:00
25
原创 【Mac】Mac电脑与手机连接同一个网络、电脑网络很卡
我家一个老的mac电脑，这个电脑和手机连接同一个wifi，但是经常刚刚启动连接不上去。但是网络显示是自动连接的，后面过一段时间后才能脸上 连上去网络感觉没有手机连接的快。这个原因一般都是系统老了，适配有问题了，很奇怪呀，软件还有老不老的问题？然后我就升级了一下系统，升级系统后，速度果然快了很多。
2025-10-02 00:30:00
37
原创 【PostgreSQL】Mac使用Homebrew安装PostgreSQL
在macOS上安装PostgreSQL可以通过几种方式完成，其中一种是使用Homebrew包管理器。以上步骤将安装PostgreSQL，启动服务，创建用户和数据库，并允许您登录到数据库中进行操作。
2025-10-02 00:15:00
39
原创 【Flink】Flink 报错 When there are multiple buffers, an unfinished bufferConsumer can not be at the head
【代码】【Flink】Flink 报错 When there are multiple buffers, an unfinished bufferConsumer can not be at the head。
2025-10-01 00:30:00
33
原创 【java】Java解析超大Yaml、The incoming YAML document exceeds the limit: 3145728 code points
最终经过一番捯饬，解决方案如下。
2025-10-01 00:15:00
176
转载 【java】发现谁再用 delete 删数据直接开除！
在工作当中执行数据库删除的时候一定要慎重再慎重，建议每次进行数据删除的使用最好数据表的备份工作，这样就会大大减少你删除跑路的几率。很多时候不要过于相信自己的动手能力，老虎还有打盹的时候，万一手滑了呢。尽可能养成好的数据库运维习惯，这样会让自己少跌跟头，你的事业才会更加顺利。
2025-09-30 00:45:00
24
原创 【Flink】word, frequency is not found in PojoType＜WordCount, fields = [frequency: Long, word: String]＞
WordCount 类的定义，看起来没有明显的问题。字段名 word 和 frequency 与之前的查询代码是一致的。然后我根据报错调试，发现这里报错名称是连在一起的，明显不对。然后我尝试把as改一下就好了。改过之后，两种就都能运行了。我的word定义如下。
2025-09-30 00:30:00
142
原创 【Elastic】primary shard is not active Timeout cannot allocate because a previous copy of the primary
这个错误表明 Elasticsearch 中的某个索引（ailpha-statistics-all-202401-000003）的某个分片（Shard）处于不可用状态。具体来说，错误指出了索引的第二个分片（Shard 2）的主分片（Primary Shard）不处于活动状态。这个错误提示表明无法分配数据块，因为之前的主分片副本存在，但是在集群的节点上找不到了。： 如果之前的主分片副本所在的节点不再可用，可能是由于节点故障、网络问题或者维护操作导致节点脱机。然后其他节点也可以同理，一样的处理。
2025-09-30 00:15:00
402
原创 【Yarn】Yarn核心参数配置
我想起了，Yan的一个参数这个参数限制了我们一个容器最大是多大，这里我们限制了是24G，而且与我们的界面是一一对应的这里如果我们启动了一个容器，那么这个容器就是24G的大小。我们上次排查了这个问题，除此之外，我还知道我的博客中，还有一次遇到过这个问题，也是因为申请的容器大小超过限制。后来增大这个限制才可以。以后找到哪个博客然后再补充进来吧，先占个坑位。
2025-09-28 00:30:00
174
1
原创 【Flink】Flink流计算任务启动报错 Container killed on request. Exit code is 137
今天遇到一个问题，一个现场环境，然后启动任务，发现任务刚刚启动就报错，错误信息如下看到这个报错，根据以往经验，一般都是内存不足，然后容器被杀死了。这段日志看起来是关于 Apache Flink 的执行图和资源管理的一些信息，以及一些警告和错误。[WARN][a这是一个警告，指示 Flink 与远程系统之间的关联失败了。原因可能是 “Disassociated”，这意味着与远程系统的连接断开了，导致关联失败。[INFO][o。
2025-09-28 00:15:00
417
原创 【Calcite】Calcite 连接MySQL案例、MySQL 与 Redis join案例
这里是一个简单连接MySQL的案例，以及不同数据源相互join的案例。主要是温故而知新。整体项目结构如下。
2025-09-25 00:30:00
151
原创 【Flink】Flink并行度一致，强制指定流分区器会发生什么
在【Flink】Flink UI 上下游算子并发之间的数据传递方式 Partitioner、流分区器 文章中我们学会了很多种流分区器，然后在文章：我们学会了自定义流分区器。在本章节中，我突然有个疑问？
2025-09-25 00:15:00
398
原创 【Calcite】Calcite转换大小写关键字、全部大写或者全部小写、方言转换
今天来看一个实用的Calcite案例，可以实现将SQL语句大小写关键字，全部大小写，或者实现方言转换。
2025-09-24 00:30:00
160
原创 【Calcite】Calcite解析SQL查询语句案例
本章是一个简答的SQL解析案例，主要是解析SQL中的一些常见信息。我们可以拿着这个做一些其他类型复杂的SQL解析。
2025-09-24 00:15:00
34
原创 【Calcite】Calcite 流式处理、流式聚合查询案例
我们模你了简单数据流。在本章节我们主要学习流式聚合查询。建议大家去看原文。这里仅仅自学使用。在真正使用流式查询时，除了简单的查询操作，我们也会进行统计、聚合分析等，比如统计一段时间内错误日志的数量。可能我们很容易写出这样的聚合 SQL 语句，在一段时间内按照日志级别执行 GROUP BY。如果我们直接采用惯性思维，使用普通 SQL 语句的方式，如代码清单 12-11 所示这样普通的查询会直接报错的报错原因是流式聚合必须有一个单调表达式。
2025-09-21 09:09:20
303
原创 【Calcite】Calcite简单流式处理案例
建议大家去看原文。这里仅仅自学使用。传统的数据处理基于静态的数据集，而流式数据也是数据的集合，只是这些数据持续地流动。与传统表格数据不同的是，它们通常不存储在磁盘上，而是通过网络流动并在内存中短时间保存。在应用层面上，流是表的补充，因为它代表现在和末来发生的事情，而表代表过去发生的事情。将流数据存档到表中是很常见的。和表类似，如何对流式数据进行便捷的操作是我们面临的一个很大的问题。在使用 Calcite 时，我们可以在，将其转化为一个能够处理流式数据的流式 SQL，如代码清单 12-1 所示。
2025-09-17 00:30:00
47
原创 【Calcite】Scalar functions and table macros have an ‘eval‘ method； aggregate functions have ‘init‘
根据报错信息，你的类MyUdafFun不是一个有效的函数类，因为在Calcite中，标量函数和表宏（table macros）应该包含一个eval方法；聚合函数有’init’和’add’方法，以及可选的’initAdd’， 'merge’和’result’方法。这里可以看到上面都为空，然后methodName有值的情况下，然后结果却为空，然后就会报错，那么我改一下，把相关信息改成如下。然后我最后看自我感觉应该是MyUdafFun出问题了，我想到偶然一撇，我的Udf是。然后尝试源码找问题，但是没找到。
2025-09-17 00:15:00
136
原创 【Calcite】Calcite注册自定义UDAF案例
相比于 UDE, UDAF 的编写过程稍微复杂一些，它内部定义了一个累加的过程，需要我们实现 init、add、result 这3个方法。接下来我们以 COLLECT_ LIST 为例实现一个 UDAF,这个两数的功能是将某列转换成一个数组后返回。图 10-1 展示了执行 COLLECT LIST 之前的结果，现在这里有3行数据，我们希望将所有的分数汇集成一个数组再返回。使用 COLLECT_ LIST 便可以将该列所有数据汇集成一个数组。图10-2 展示了执行COLLECT LIST 之后的结果。
2025-09-16 00:30:00
154
原创 【Calcite】Calcite注册自定义UDF案例
对于数据库来说，最基础的函数定义方式就是 UDF，本节会对这种自定义函数进行介绍。我们首先需要了解什么是 UDF。UDF 是这了种函数当中最简单的一个，主要针对的是一对一的场景。这时可能就有读者感到疑惑，什么是一对一的场景？一对一其实主要是针对单行的输人、单行的输出。例如我们写一条SQL 语句，如代码清单 10-1 所示。该数学函数 ABS 的作用很简单，就是将每行输人的 num 宇段转换为正数再输出。这就是一个典型的一对一的场景。
2025-09-16 00:15:00
35
原创 【Elsatic】kibana查询Elsatic无法显示数据、有数据入库、但是查询不到
也不知道哪个坏蛋修改了电脑时间，而kibana和我们的平台都是按浏览器时间查询的，不巧的是我们正好是几个月就把数据清理了。然后尝试重启一下es节点，结果重启后还是不行，之前遇到过一次，那次是es的三种监控数据中，集群数据监控不到了，是属于es的bug，重启下es集群就好了，这个的话看着监控数据也都在。现场有个环境，可以在kibana查看到索引数据总数一直是累计的，而且使用命令也能查到，索引大小也在变化，但是kibana Overview界面总是查询不到数据。然后时间修改一下，然后就能查到了。
2025-09-10 00:30:00
255
原创 【java】深入理解 Java SPI 机制：从原理到实战，彻底搞懂“服务发现”的底层逻辑
本文深入解析了Java SPI（Service Provider Interface）机制，从原理到实战进行系统讲解。SPI是一种服务发现机制，定义接口规范后由第三方实现，系统自动发现并加载实现类。通过插头插座类比说明其核心思想：定义标准、实现自由、自动发现。文章对比了API和SPI的区别，并通过智能家居系统案例演示SPI实现流程：1）定义空调接口标准；2）厂商实现接口并注册；3）主程序通过ServiceLoader动态发现服务。最后解析ServiceLoader的工作原理，包括类加载和反射实例化过程。该机
2025-09-10 00:30:00
301
1
原创 【Spring】Spring Boot 为什么可以使用 Jar 包启动
jar 包类似于 zip 压缩文件，只不过相比 zip 文件多了一个文件，该文件在构建 jar 包时自动创建想要制作可执行 JAR 包，在 MANIFEST.MF 中指定Main-Class是关键。使用 java 执行 jar 包的时候，实际上等同于使用 java 命令执行指定的Main-Class程序。Spring Boot 提供了一个插件 spring-boot-maven-plugin ，用于把程序打包成一个可执行的jar包。
2025-09-10 00:15:00
1173
原创 【kafka】kafka 2.8 扩容报错Unexpected existing replica assignment for topic partition id 0 is missing
异常栈信息如下主要看方法addPartition方法。错误消息 “Unexpected existing replica assignment for topic ‘$topic’, partition id 0 is missing” 意味着在尝试扩展 Kafka 主题时出现了一个问题。这通常涉及到分区的副本分配或者 ZooKeeper 中的配置。让我们来逐步分析和解决这个问题：1.检查主题配置：2.确保你正在尝试扩展的主题存在，并且已经正确地创建。
2025-09-10 00:15:00
47
原创 【Calcite】Calcite连接 PostgreSQL
上一篇文章：【Calcite】Calcite连接redis 本章耗时4个多小时才跑通。PostgreSQL（简称 PG）是非常典型的对象-关系数据管理系统，它由美国加州大学计算机系开发。图9-3展示了 PostgreSQL 的 Log0。 PostgreSQL 可以支持大部分SQL 标准，同时提供了很多其他的特性，例如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgresQL 也可以用许多方法扩展，例如增增加新的数据类型、两数、操作符、聚集两数、素引方法、过程语言等。由于开源许可
2025-09-09 01:15:00
138
原创 【Calcite】Calcite连接redis
接下来我们需要定义 Redis 的表元数据。这里我们用 RedisTable 类对相关信息进行封装，需要继承 Calcite 内部的 Table接口。其中，我们需要重写几个重要的方法。首先是 getRowType 方法，该方法用于定义最终查询出的列名称和类型，names 和 types便是封装了该表列名称和类型的列表。通过调用 createStructType 方法构建 RelDataType。具体实现方式如代码清单9-4所示。代码清单 9-4 getRowType 方法/*
2025-09-09 01:00:00
269
原创 【Calcite】Calcite自定义优化规则实战
在上一篇文章，我们学习了calcite进行CBO优化，然后里面也有下推案例。本节将介绍如何自定义优化规则。通过前文其实可以发现，对于自定义的优化规则，只要规定好你需要匹配的节点和你想要的转换方式，并将其加人规则当中就大功告成了。
2025-09-07 00:30:00
51
原创 【Calcite】Calcite语法解析Load案例-Antlr语法
正如 6.4.1 小节介绍的，Antir 和JavacC一样，是一个很强大的代码生成器，可以对我们定义的语法进行词法和语法解析。既然这两者都是用来做语法和词法解析的，我们完全可以将 Calcite 当中的 JavaCC 替换成 Antl。其基本的解析代码示例如代码清单 6-31 所示。代码清单 6-31使用 Antlr 进行代码解析的示例。
2025-09-07 00:15:00
213
原创 【Calcite】Calcite语法解析Load案例
我们已经知道如何调用对应的解析接口，但是有时需要扩展一些新的语法操作，我们如何操作呢？这里我们以数仓的一个常见操作Load 作为例子，介绍如何自定义语法。Load操作时将数据从一种数据源导人另一种数据源中，这种操作在真实的业务场景中是十分常见而且必要的。一般来说，Load 操作采用的语法模板如代码清单 6-16所示。其中，sourceType 和targetType 表示数据源类型，obj 表示这些数据源的数据对象，(fomCol toCol)表示字段名映射，文件里面的第一行是表头，分隔符默认是制表符。
2025-09-06 01:15:00
52
原创 【Arthas】Arthas使用redefine热更新代码
a. 反编译OrderController，默认情况下，反编译结果里会带有ClassLoader信息，通过–source-only选项，可以只打印源代码。更多高级的功能请移步Arthas官网文档https://alibaba.github.io/arthas/quick-start.html。redefine 我参考了这篇文档https://github.com/alibaba/arthas/issues/537。redefine jvm已加载的类 ，可以在不重启项目的情况下，热更新类。
2025-09-06 01:00:00
53
原创 【Arthas】Arthas日志级别修改、修改某个类的日志级别
下面这种事指定classLoaderHash。两者都能实现全局修改日志级别。但是实际上这样会打印很多日志。上面全局修改会导致很多日志，那么我们能只看某个类，或者某个包的日志吗？从appenders的信息里，可以看到。查看指定名字的 logger 信息。可以看到这个包的日志级别被修改了。修改某个包的日志级别。
2025-09-06 00:45:00
48
转载 【java】为什么阿里巴巴修正了HashMap关于1024个元素扩容的次数
此番修正主要是每个人对「扩容」定义存在了分歧，在JDK1.8中如果没有给HashMap设置初始容量，那么在第一次put()操作的时候会进行resize()。而有的人认为这算一次扩容，有的人认为这不是一次扩容，这只是HashMap容量的初始化。前者的人认为扩容次数为 8 次。后者的人认为扩容次数为 7 次。孤尽老师说对此分歧，希望用没有「二义性」的语言来表示，所以「扩容次数」修正为「resize次数」。
2025-09-06 00:30:00
30
转载 【无标题】Git 如何撤回已 Push 的代码
知识积累，建议大家去看原文。面试官问：Git 如何撤回已 Push 的代码？如果问你，你会吗？在日常的开发中，我们经常使用Git来进行版本控制。有时候，我们可能会不小心将错误的代码 Push 到远程仓库，或者想要在本地回退到之前的某个版本重新开发。或者像我一样，写了一些感觉以后很有用的优化方案push到线上，又接到了一个新的需求。但是呢，项目比较重要，没有经过测试的方案不能轻易上线，为了承接需求只能先把push上去的优化方案先下掉。
2025-09-06 00:15:00
32
Eclipse Formatter 模板 Formatter.xml
2020-11-11
hadoop学习文档
2016-09-14
eclipse的hadoop插件
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人