qkfm-CSDN博客

原创记录一次排查docker中mysql一会儿可以连接上一会儿会话断开问题，服务硬盘损坏，导致docker中mysql没100s自启动一次出现的问题

本文详细记录了在 Docker 中运行 MySQL 时遇到的一个问题：MySQL 会间歇性地断开连接，表现为一会儿可以连接上，一会儿会话断开。通过排查发现问题的根本原因是服务器硬盘出现故障，导致 Docker 中的 MySQL 容器每 100 秒自启动一次。文章包括了问题的起因、排查过程以及最终的解决方案，为遇到类似问题的用户提供参考和帮助。

2024-08-27 21:13:43 320

原创（翻译）迎接nifi2.0

本文为大家翻译了关于即将发布的Apache NiFi 2.0版本的介绍。NiFi 2.0带来了许多令人兴奋的新功能，例如Python作为NiFi中的一等公民、在Process Group级别使用NiFi Stateless、以及规则引擎的引入。此外，文章还详细讲解了如何为即将到来的NiFi 2.0升级做准备，包括升级到Java 21、迁移模板和变量、处理被移除的组件等。通过这篇文章，您将能够提前为NiFi 2.0的升级做好准备，不错过任何重要功能。

2024-08-16 09:30:00 1010

原创使用nifi将mysql数据全量后增量的数据同步到Elasticsearch 中

本文详细介绍了如何使用NiFi将MySQL中的数据全量后增量地同步到Elasticsearch。文章提供了模板获取链接，并具体说明了将MySQL的test_addition表数据全量导入到Elasticsearch中的land_aoi索引，然后每小时增量同步一次的过程。文章还附带了流程截图，并重点说明了表结构、建索引语句，以及使用ExecuteScript通过轮廓数据计算中心点来获取location的处理方法。

2024-08-15 17:22:51 231

原创使用nifi监测程序是否可用，每10分钟检测一次，连续两次出现问题就重启，第一次预警，第二次重启

使用nifi监测程序是否可用，每10分钟检测一次，连续两次出现问题就重启，第一次预警，第二次重启

2024-08-04 00:59:10 188

原创使用nifi巡检系统，出现异常及时告警

在使用NiFi巡检系统的过程中，系统能够自动检测异常并及时发出告警。通过集成的监控和告警机制，NiFi能够实时监控数据流、处理过程和系统状态。一旦发现异常或错误，例如数据传输失败、处理器错误或资源超限，系统会迅速触发告警，并通过邮件、短信或其他通知方式告知相关人员。此机制确保了系统的稳定性和数据的可靠性，并帮助及时采取措施以解决问题，减少系统故障的潜在影响。

2024-07-29 19:40:57 291

原创使用nifi将大数据量的oracle数据全量后增量的数据同步到greenplum中

本文介绍了一个优化的 Apache NiFi 模板，用于将 Oracle 数据库中的 test_car 表数据全量导入至 Greenplum 的 public.gp_test_car 表，并每半小时进行一次增量同步。此方案利用了 Greenplum 外部表与 COPY 方法，实现高效数据传输和同步。通过该优化方案，实现了高效、稳定的 Oracle 到 Greenplum 的数据同步，为数据处理和分析提供了可靠的数据基础。

2024-07-25 20:29:53 285

原创记录一次tomcat总是挂掉，jvm崩溃问题，httpclent请求没有设置超时，导致的线程大量等待

从这些日志记录来看，gc before和gc after 的full 都是29（full 29表示已经进行了29次Full GC），表示的GC事件并不是Full GC，而是Young GC。4、后面发现当程序崩溃的前几个线程文件都比平时大了2倍左右，对比几个文件发现，有一个httputil里面的方法在线程文件逐渐变多，发现有很多线程是调用的很早以前写的一个httputil的类（对比的时候可以先从，你们写的类找比如查找com.youcompany....）

2024-07-23 15:19:47 453 1

linxuehh的博客