三劫散仙-CSDN博客

原创 spark3.3.4 上使用 pyspark 跑 python 任务版本不一致问题解决

如果是使用 mlflow 包管理的任务，除了 driver 和 executor 上 python 版本保持一致，训练模型用的 python 版本也尽量匹配 pyspark 的版本要求，否则可能出现兼容性问题。这也就是说，如果你要跑 python 任务，你的 driver 和 worker 侧的 python 版本不能低于 3.7 版本，最小是 3.7，否则就会出现上面描述的异常。

2024-08-09 16:36:52 327

原创 jdk8 报错 java.lang.NullPointerException sun.awt.FontConfiguration.getVersion(FontConfiguration.java:1

出现这个问题，一般是因为我们用 jdk 是精简过体积的 jdk 比如各种docker 镜像里面依赖的 jdk-slim，这里面为了减少jdk 包的体积会去掉这些内置字体资源，如果遇到你的应用又需要使用这些字体的情况，就会报错。是一个开源的 TrueType 字体集合，它包含了多种语言的字符，特别是那些在其他字体中不常见的字符。是一个用于配置和自定义字体的系统，它允许用户指定字体的优先级、替代字体以及字体的缓存等。）来管理字体的设置，并且可以与多种桌面环境和应用程序集成，以提供一致的字体体验。

2024-08-02 11:53:10 199

原创 java 修改默认的/tmp/hsperfdata_root目录的生成位置

java程序启动后，默认（请注意是默认）会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件，并在该文件中存储jvm运行的相关信息，其中的userName为当前的用户名，/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。这里面就包括我们最常用的 jps 命令，可以只显示 java 进程的功能，就是解析这个目录生成出来的。如果你发现 jps 命令不能列出来 java 进程，那么原因很大可能和这个目录位置有关系。

2024-07-29 17:46:35 381

原创 chrome跳转新页面自动打开 devtools 调试工具

A 页面有个按钮，点击后会跳转到一个新页面 B，如果我们跳转之后再打开 devtools 工具条就会无法看到 B 页面初始化发起的请求，那你会说我刷新下不就好了吗？大多数时候这样是可以的，但有些页面的 url 为了安全起见不支持刷新重放，所以就也刷新不了，只能在第一次打开该页面时自动打开 devtools 工具条才可以。

2024-07-26 10:55:56 529

原创 skywalking 请求链路采样设置和原理

通过合理的 skywalking 的采样机制的设置，可以大大减轻服务端 ES 的存储压力，以及减少 agent 端消耗应用的的 cpu 和内存的资源，也包括减少上报 oap 网络带宽的占用等，从而达到在资源成本和采集请求覆盖面得到一个平衡。

2024-07-15 18:52:29 750

原创 vue3 + tsx 表格 Action 单独封装组件用法

先上图看右侧列 action 的 UI 效果：正常来说，如果一个表格的附带 action 操作，我们一般会放在最右侧的列里面实现，这个时候有些UI 框架支持在 SFC 模板里面定义额外的 solt，当然如果不支持，更通用的做法是通过 vue 的 h 函数来实现，纯粹用 js 或 ts 组装组件方式实现，这种方式很灵活，但有一个弊端，当定义的组件很多的时候，比如上图有4 个Button，还得定义按钮样式和点击事件，代码就显的非常乱。

2024-07-10 16:14:59 309

原创一文搞懂 spring boot 加载外部配置文件

默认情况下如果将spring boot项目，打包成一个fat jar，基本不存在读取外在配置文件的问题，因为 src/main/resources/的yaml或者properties文件，都会打进 jar 内。也就是说，如果要读取任何外部文件，不需要额外加任何参数，只需要在jar同级目录下，新建一个config目录，然后把配置文件放进去即可，这样spring boot读取到后，会自动将其中的内容添加到 Spring 的 Environment 中。3，CLASSPATH 中的 /config 目录；

2024-06-18 14:06:56 2488

原创 Java NIO ByteBuffer 使用方法

OnMessage//xxxxx以前只知道 NIO 里面大量用到了 ByteBuffer ，并没有仔细了解过，这次特意学习了一下，因为JDK自带的ByteBuffer 可以切换读写两种模式加上内置很多方法组合使用，有很多约定俗成的用法，稍不注意就有可能踩坑，这也是为什么Netty里面又基于 ByteBuffer 重新封装了ByteBuf类，就是因为 JDK 自带的太难用了Java 中的 ByteBuffer 是 java.nio 包中的核心类之一，属于 New I/O (NIO) 框架。

2024-06-12 19:34:42 868 1

原创 vue3 + tsx 报错JSX element implicitly has type ‘any‘ because no interface ‘JSX.IntrinsicElements‘

【代码】vue3 + tsx 报错JSX element implicitly has type 'any' because no interface 'JSX.IntrinsicElements'

2024-06-07 17:07:55 797

原创如何切换dockefile中默认shell从sh改为bash

功能性：bash是对sh的扩展，提供了更多的功能和改进的用户界面。它包含了所有sh的特性，并加入了自己的新特性。sh是Unix系统中传统的shell，功能相对简单。脚本兼容性：大多数情况下，用sh编写的脚本可以在bash中运行无误，因为bash向下兼容sh。但是，bash独有的特性（比如数组支持和特定的内置命令等）在sh中并不可用。独有特性：bash支持数组，sh则不支持。bash支持对命令历史的操作和使用，如命令搜索和命令行编辑，sh则支持程度有限。

2024-05-15 16:35:44 658

原创 IDEA +Tomcat 新建 Spring MVC 项目踩坑记

使用Java 做企业级Web开发，十多年前，SSH（Spring + Struts + Hibernate）框架很火，当时流行的 IDE 是 Eclipse 和 MyEclipse，后来过了几年变成了 SSM（Spring + Spring MVC + Mybatis)，直到 2014 年 4 月，Spring 发布 Spring Boot 第一个正式版本后，后续新的微服务 web 项目基本都用 Spring Boot 开发了，其遵循的约定大于配置的理念，极大提升了开发效率，再配合上 JetBrains 公

2024-05-13 11:13:26 1010

原创 sentinel-dashborard下发流控规则未生效排查解决

Sentinel是阿里巴巴开源的一个流量控制组件，它以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性。Sentinel的核心思想是：通过动态设置的规则，对进入系统的流量进行控制，从而保证系统的稳定性和高可用性。流量控制：Sentinel可以根据不同的调用来源、调用模式等，对流量进行控制，比如可以设置某个接口的QPS（每秒查询数）或者线程数阈值，当超过这个阈值时，就会进行流量控制，避免系统过载。熔断降级。

2024-05-11 16:27:46 601

原创 skywalking-agent 代码调试

之前已经将 oap 和 ui 调试成功了，今天排查一个 agent 的采集问题，又研究了下 agent 代码如何调试，这下终于齐活了，以后 skywalking 再有问题，直接使用调试大法。1，下载 skywalking 源码，进行编译打包（注意从 skywalking 8.8.0 开始 agent 代码从主仓库独立出来为 skywalking-java ）然后在 skywalking 的源码里打上断点，就可以愉快的调试了。如果代码有调整，还是需要重新打包的。里面包含了打包好的agent目录。

2024-04-23 17:43:32 323

原创 mac系统sublime text支持dockerfile语法高亮

2，先安装 package control: install package。1，打开包管理面板 command + shift + p。4，最后重新打开dockerfile即可。

2024-04-23 10:43:19 189

原创我对硬技能与软技能的认知

那么如何才能发展好或者学好软技能，我自己也在探索中，比如强制自己开始多阅读，多写作，多问一些问什么来思考锻炼，因为硬技能其实基本够用了，如果再不注重软技能发展，后面的路子就会越走越窄。因为技能都有半衰期，而硬技能的半衰期更快。处在程序员这个行业中，我是深有感受，因为技术的更新换代的速度比其他行业更加迅速，从前端，后端，移动端，到大数据，元宇宙，Web3，人工智能，AI等，所以，当你们意识到这个问题时，就应该思考一下是否正确，如果是一件正确的事，那我现在就应该去做，当然，也别指望三两个月就能出成果。

2024-04-12 19:10:43 435

原创 skywalking idea中启动调试报错Output path is shared between the same module error

简单描述：就是多个moudle一样用了一样的输出路径，这样容易造成冲突。

2024-04-01 17:39:28 459

原创 Vue3 + Echarts集成时柱状图和折线图的tooltip不显示问题

今天在使用echarts绘制一个双图表的数据统计图时候，发现 tooltip 无法显示，经过一番排查，发现是使用上错误导致，如下图所示，鼠标悬浮上不能正确触发tooltip和自定义的 valueFormatter。

2024-03-25 11:23:02 1481 3

原创 Dockerfile ARG参数设置默认值

如下，有个 VERSION 参数，接受传参数也需要设置默认值，可以直接在 Dockerfile 中设置。

2024-03-13 10:54:46 603 1

原创 Spring JPA could not locate named parameter异常

原生 sql 语句后面加了分号导致的，把分号去掉即可，因为 SQL/HQL不需要以分号结束。

2024-03-13 10:48:33 454

原创使用kubectl port-forward 端口转发来快速调试应用

只要 pod 在 kubernetes 里面拉起来，就可以在本地终端快速调试应用，注意此方法只适合开发调试，长久使用在生产环境不推荐。本地端口建立的连接将被转发到运行应用 Pod 的容器端口。通过此连接，你可以在本地终端来快速调试在 Pod 中运行的应用。kubectl port-forward 资源名本地端口:容器端口。

2024-03-08 11:29:24 408

原创 docker构建还能这么玩

多阶段构建（Multi-stage builds）是从 Docker 17.05 版本开始引入的功能。这个功能允许在单个 Dockerfile 中定义多个构建阶段，并且在最终镜像中只包含所需的内容，从而减小镜像的大小。通过多阶段构建，可以将构建环境和运行环境分开，使得最终的镜像更加轻量化，减少了不必要的依赖和文件使用多阶段构建可以帮助优化和简化容器镜像的构建过程，减小镜像大小，简化构建流程，提升构建灵活性，加速构建速度，优化镜像层次结构，减少依赖关系，从而提高了容器化应用程序的部署效率和性能。

2024-02-21 11:43:17 386

原创 package.json包版本控制方法介绍

最近一个 Vue 3 + Spring boot 的项目在生产环境打包失败了，排查下了原因，发现是版本没有锁定导致的，因为在开发环境，我们的机器都可以连通外网去下载依赖，但生产环境nexus一般都会限制网络访问，所以某些不匹配的版本可能就会下载失败，从而导致构建失败。

2024-01-22 16:08:04 1168

原创 skywalking 在mac m1上protobuf构建问题

【代码】skywalking 在mac m1上protobuf构建问题。

2024-01-19 16:38:53 567

原创 vue3 + naive ui + Tabs 报错 ‘Slot “default“ invoked outside of the render function‘

如下给Tabs组件加一个defaultValue的默认值即可。

2024-01-05 11:57:14 2647

原创 Spring Boot 2.7.11 集成 GraphQL

GraphQL（Graph Query Language）是一种用于API的查询语言和运行时环境，由Facebook于2012年创建并在2015年公开发布。与传统的RESTful API相比，GraphQL提供了更灵活、高效和强大的数据查询和操作方式。客户端可以精确指定需要的数据，而不会获得多余或不需要的信息。这允许前端应用程序更有效地获取所需的数据，减少了不必要的数据传输和处理。与RESTful API不同，GraphQL通常只有一个端点，客户端可以在一个请求中指定所需的所有数据。

2024-01-02 18:43:19 744 1

原创 Jetty Server设置允许跨域的方法

【代码】Jetty Server设置允许跨域的方法。

2024-01-02 15:58:46 684

原创如何将 spring boot jpa 联表查询结果映射成 Java Bean

可以看出来基于接口的方式更加优雅，不需要处理一堆映射定义，需要那个字段就加哪个字段即可，但是基于接口的缺点在于，返回的不是类实例，如果需要对返回的结果进一步进行处理必须需要新声明一个 Bean 接受处理完的数据，而基于类的就比较友好了，可以直接修改类本身的数据。查了一下网上发现大部分提供的例子都用不了，包括通过 GPT4 解答的乱七八糟，不得不说现阶段的AI大模型，还有待优化，最终经过测试，确定有两种方式是可以的，而且能跑的通。实体类代码：接口定义所有要返回字段的getter方法即可。

2023-12-26 18:24:38 249

原创 intellj idea中支持 go helm tpl 文件识别

tpl 后缀的文件，在 Helm 中用来作为 kubernetes 各 yaml 资源文件的生成模版，一般只要支持Kubernetes部署的开源应用，基本都会封装成 Helm 从而简化部署，但正常情况下 IDEA 的编辑器是不会识别 .tpl 结尾的文件，因为 Go 默认只识别 *.gohtml，所以我们先在 IDEA 的插件市场安装 Go 和 Go Template 插件，然后再 File Types 中，找到 Go Template files 新增关联后缀即可。

2023-12-14 16:53:32 437

原创 kubectl节点维护命令

命令执行成功后，该节点自动会被标记为不可调度，即会自动被打上 node.kubernetes.io/unschedulable 的污点。执行完如下命令，该节点不会再接受新的 pod 运行。

2023-12-12 15:49:07 167

原创 Elasticsearch 相似度评分模型介绍

Elasticsearch 是基于 Lucene 的世界范围内最流行的全文检索框架，其文档相似度算法包含 TF/IDF 和 BM25，从 ES 5.0开始 BM25 算法已经成为 ES 默认的相似度评分模块。在实际工作中，搜索和推荐业务会比较依赖全文检索框架，很多情况下框架的默认的评分机制并不能很好的满足我们的需求，所以需要结合一些自定义评分策略来完善我们的 rank 效果。

2023-11-29 19:41:43 713

原创 scala可变参数列表使用

在Scala中，可以使用可变参数列表（varargs）来定义一个函数，以接受可变数量的参数。语法可以将一个数组的元素作为可变参数传递给函数。

2023-11-29 18:39:18 462

原创 IDEA 2022.1 同一个 spring boot main类运行多个实例

先点击 Edit 配置。

2023-11-27 17:42:57 324

原创 Vue3 + Vite + TSX + vue3-ace-editor 踩坑

由于 ace-editor 官网并没有提供各个前端框架Vue，React，Angular的直接使用的适配版本，所以本次使用的vue3-ace-editor 是个人开源者维护的版本，原生是支持 SFC 模版用的，由于我这里习惯使用 JSX 或 TSX的方式，所以遇到了两个小问题，特此记录。

2023-11-23 19:34:39 574

原创 Ant Design Vue Table 列属性报错 Type ‘string‘ is not assignable to type ‘AlignType | undefined‘.

整体感觉 TypeScript 的类型限制方案还有缺陷或者说不完美，要么就和 Java 强类型一样，用枚举限制某些值，真的没必要出现 Type 这种不伦不类的数据类型，还容易和 Interface 极度混淆，这对于非专业前端的后端来说真的是有点痛苦。

2023-11-21 11:10:11 892

原创 mac 清除 iTerm2 终端屏幕内容

2，Commd + K，清除所有屏幕上的内容，鼠标向上滚动时不能看见旧的内容。1， clear 命令，仅仅清除当前屏幕，鼠标向上滚动时仍能看见旧的内容。

2023-11-20 18:37:56 751

原创透视maven打包编译正常，intellj idea编译失败问题的本质

maven多模块类型的项目，在Java的中大型应用中非常常见，在 module 很多的情况，经常会出现各种各样的编辑依赖错误问题，今天记录一种比较常见的 case ：但偏偏打开 IDEA 中的类文件，A 模块中的类显示找不到依赖 B 模块的类，具体就是某个子模块的依赖的类找不到，各种 reimport 和 invalid cache restart 都尝试过了，还是无法解决，这是为什么呢？

2023-11-20 14:39:32 1693 1

原创 mac 打不开 idea 或者 pycharm 的方法

2, 删除旧版本的IDE，比如pycharm，之前有二个旧版本的目录，要装新的就把旧的全删除了，避免vm.options影响新的版本，导致起不来。3，删除成功之后，重新安装 IDEA 即可。1，进入 Jetbrains 安装目录。

2023-11-19 20:09:46 913

原创 Ant Design Vue Select下拉框内容显示不全问题解决

设置完之后：dropdownMatchSelectWidth={false}，已经全部展开了。

2023-11-14 19:25:21 1652 1

原创 js 正则替换实现特殊分隔符的单词首字母大写

原因在于：\w 是匹配的字母、数字、下划线。[_\s-]* 第二部分是接着第一部分结果的追加限定：必须以 0个或多个 (下划线或空白字符或连字符)组成部分结尾才可以。这里面需要注意：[_\s-] 的顺序，连字符不能放中间，因为放空间表示一个范围，会导致编译报错。[a-zA-Z]* 第一部分匹配任意 0个或多个字母组成的单词。

2023-11-14 17:37:45 227