Heartsuit的博客

本系列拿 ruoyi-cloud 项目进行练手，按照 MySQL ， Nacos ， Redis ， Nginx ， Gateway ， Auth ， System 的顺序来部署 ruoyi-cloud 微服务应用。这次我们先是借助 kompose 工具，实现对 dokcer-compose 的 yaml 到 K8S 的 yaml 的转换，经过简单的加工后即可应用部署；通过以上操作，成功将 MySQL 8.0 部署到了 K8S 集群，下一步我们安装下 Nacos v2.2.3 。

以上就是基于ETLCloud实时数据集成功能实现的单表CDC数据从MySQL到ClickHouse的同步实践，不过可能因为目标库为ClickHouse，其更新、删除操作与传统的关系型数据库的标准SQL有所区别，导致更新和删除数据的操作未能成功同步，这个问题已反馈给官方技术人员。ETLCloud提供了实时数据传输统计图形展示，对同步的进度及异常数据进行近实时的监控。

几年前曾根据Node-Red官网示例进行了简单的体验，当时觉得这东西就是个玩具，拿过来玩一玩可以，不实用；但是如今发现有不少产品对其进行了集成，并做出了复杂的商业应用，这确实是极大的震撼。使用看似简单的工具，实现真正复杂的应用。介绍了运行Node-Red所需的环境准备，包括安装Node.js和一些其他工具。接下来，文章介绍了Node-Red的安装和运行方法。在拖拉拽操作部分，介绍了如何使用Node-Red进行OPCUA数据订阅、发布至MQTT主题和将数据存储到MySQL数据库中。

临时在一台华为云的 CentOS6 上安装部署一个业务系统，这里记录下 MySQL 8 与 Nginx 的安装过程中遇到的问题。一开始因为 yum 源无法使用，不能通过 yum install 命令直接安装 Nginx ，就通过上述源码的方式安装 Nginx ，但是过程中遇到了 Nginx 需要的 pcre 等依赖，就顺带解决下 yum 源问题。请注意， CentOS 6 已经过时，建议升级到更新的操作系统版本以获得更好的性能和安全性。

日常工作中，有时候领导对某些数据统计感兴趣，会要求分析人员定期取数报送，面对这种需求，我们可以设计一个大屏，将领导关注的数据以可视化的方式展示；如今，借助 ETLCloud 的“生成Echarts图表H5页面”组件，可以将数据库表中的数据执行一个统计 SQL 然后把数据展示成可视化的图表通过邮件、企业微信、钉钉等直接发送给业务用户，实现报表统计、发送的全自动化。

基于 ETLCloud 库表同步组件实现异构数据表批量迁移，完成从 SQLServer 到 MySQL 库表数据迁移实践，简单、直接、有效；此外，也记录了几个迁移过程中与配置相关的问题及解决方法。与以前使用的 CS 类型的迁移工具相比， ETLCloud 界面更友好、更容易上手，而且社区版的功能已经足够强大。ETLCloud：重构企业数据融合架构，解决各种复杂、即时、高合规的数据集成需求，一站式覆盖：任务开发、任务编排调度、血缘关系分析、数据质量管理、数据服务开发、任务监控。

ETLCloud：新一代(智能)全域数据集成平台，兼容主流的数据库、数据仓库、数据湖甚至消息中间件等产品，全面国产化适配，提供可视化的自动化处理流程，用户只需要单击几下即可创建数据处理任务，轻松在多个异构数据源中实现数据同步以及数据清洗传输。我们曾把MySQL数据的多个关联表通过DataX工具同步到ClickHouse这款OLAP数据库中，最终实现了多表关联的高效查询；这里以诗词数据库从MySQL到ClickHouse的迁移任务为例，快速体验ETLCloud社区版实现零代码、可视化、高效数据迁移的使用过程。

上一篇文章记录了在旧版的操作系统上直接安装低版本 ClickHouse （脱胎于俄罗斯头号搜索引擎的技术）的过程，开启远程访问并配置密码；其实通过 Docker 运行 ClickHouse 是我在2022年10月左右在虚拟机上实验的，当时 DockerHub 还可以打开，现在需要更换国内镜像才可以。。这里记录下当时使用 Docker 运行 ClickHouse 的过程；并与SpringBoot、MyBatisPlus集成实现CRUD功能。

在一台装有 CentOS6.10 操作系统的主机上安装 ClickHouse。最后选择离线安装低版本 ClickHouse19.9.5.36 ；此外，系统还挂载了一个600G的数据盘，就修改 ClickHouse 的默认数据存储目录，将数据和日志放到数据盘中；配置了远程访问与密码，通过命令行客户端建立连接，最后建库建表。ClickHouse 服务成功启动后，后续就可以把我们关系型数据库中的大量数据迁移至 ClickHouse ，体验下这款以快著称的联机分析( OLAP )的列式数据库管理系统。

MySQL 数据库中，设备历史数据单表过亿，如何快速、低成本地迁移到 TDengine3.x 中？从标题可以看出，我们使用的数据迁移/同步工具是 DataX ，数据源（ Source ）为传统的关系型数据库 MySQL ，目标库（ Sink ）为新型的具有场景特色的时序数据库 TDengine 。以上便是基于 DataX 完成从 MySQL 到 TDengine3.x 的时序数据迁移实战记录，借助 DataX 工具，通过配置文件驱动的方式完成了海量时序数据的快速迁移。

想将一个线上数据库从 SQLServer 转换迁移到 MySQL ，数据表70多张，数据量不大。从网上看很多推荐使用 SQLyog ，还有 Oracle MySQL Server 官方的 Workbeach 来做迁移，但是步骤稍显繁琐；后来从一篇文章的某个角落中发现了 DB2DB 这个工具，出自于米软科技。从软件功能上看，当前版本 1.30.107 支持 SQLServer , MySQL , SQLite , Access , SQLServer CE , PostgreSQL 等6种数据库的互相迁移。

一个在 MySQL 下正常运行的分组语句，迁移至神通数据库后报错：ERROR, Attribute CANDIDATE_ID must be GROUPed or used in an aggregate function。在 MySQL5.7 及以上的版本中，由于 MySQL 的 sql_mode 默认配置中包含 ONLY_FULL_GROUP_BY ，即按照 SQL92标准 执行：select 、 having 或 order by 后面存在的非聚合列必须全部出现在 group by 语句中。

通过 `SpringBoot` 与 `MyBatis Plus` 实现与 `SQLServer` 的集成， `CRUD` 。java.lang.AbstractMethodError: null原因： `net.sourceforge.jtds.jdbc.JtdsConnection` 没有实现 `isValid` ，因此需要指定 `connection-test-query` 以确保 `isValid` 不调用该方法。

在实际生产中使用 `Oracle` 时又遇到几个小问题： `ORA-00911` ， `ORA-12514` ， `ORA-28547` 。下面分别列出这几个问题的解决方法。修改数据库的安装目录 `E:\app\Administrator\product\11.2.0\dbhome_1\NETWORK\ADMIN` 下的 `listener.ora` 文件，记得重启监听服务。

在 `TongWeb` 中间件中部署启动 `war` 包时遇到了以下错误：Failed to obtain JDBC Connection; nested exception is dm.jdbc.driver. DMException: 初始化SSL环境失败解决方法：在达梦数据库的安全版中默认开启了 `SSL` 加密，需要手动关闭，执行以下 `SQL` 进行配置。> sp_set_para_value(2, 'ENABLE_ENCRYPT', 0); 执行完之后重启数据库服务生效

最近接手了一个祖传项目，一个十几年前的 `.Net` 客户端项目，近期需要修改一个小功能，项目用到了 `Oracle` 数据库，以下是我在 `Windows 7` 旗舰版虚拟机上安装使用 `Oracle 11g` 的记录。在 `Windows 7` 虚拟机上安装了 `Oracle` 服务端、客户端以及图形工具 `PL/SQL Developer` ，然后配置远程连接，在宿主机上通过 `SpringBoot` 与 `MyBatis` 集成 `Oracle` ，并进行了基本的备份与恢复操作。

关于神通数据库ShenTong7的参考资料建议参考官方文档。其实，如果在安装神通数据库ShenTong7中时，我们会看到在安装目录下有一些文档，可以作为第一手的参考资料。

2017年部署的一个基于 `Vue` , `Node.js` , `MongoDB` 构建的 `Web` 项目，今天访问时突然打不开了，查看日志发现 `MongoDB` 数据库竟然无法连接了。数据库的错误信息如下：> ExecStart=/usr/bin/mongod --config /etc/mongod.conf (code=exited, status=1/FAILURE)

背景最近接触了个项目，数据库用的是国产数据库：人大金仓V8。简单总结下 Kingbase8 在 CentOS7 上的安装与使用。下载手机号、验证码，下载镜像以及开发版授权证书：https://www.kingbase.com.cn/rjcxxz/index.htm安装文档： https://help.kingbase.com.cn/stage-api/profile/document/kes/v8r6/html/install-updata/linux/install-linux/install-l

背景因信创迁移适配需要，我们需要将服务部署在国产化平台上。其中涉及到 Nacos 连接国产数据库的问题，这里以达梦数据库为例，使用CV大法（复制、粘贴）完成对 Nacos 源码修改，来实现对达梦数据库 DM8 的连接支持。如果直接通过官方版本连接国产化数据库，或者MariaDB，便会报错（以下错误会在无法连接数据库时抛出，可能是端口未开放、数据库不允许远程连接等，反正就是不能成功与数据库建立连接。。）：Nacos Server did not start because dumpservice be

背景虽然最终会被部署到国产数据库环境，但是实际项目开发时大概率是一开始在 MySQL 上开发，直到最后部署时再做迁移适配。之前是我们在项目真正开发之前进行的预研与测试。今天开始真实场景下的数据迁移，操作系统与数据库已经由专业的运维人员安装完毕，操作系统：统信UOS；数据库：达梦8。虽然可以在IDEA中建立与DM8服务端连接，并且提供了不少功能，但是不能直接修改字段类型。还是通过DM自带的管理工具比较方便。到达梦官方注册账号，下载 Windows 下的开发版，可仅安装客户端工具。这次我们用到的主要是

背景凡事预则立听说我们的项目将来要部署到国产化平台上，数据库用的是达梦数据库，国产的这些组件也没有用过，就想着在虚拟机安装数据库服务（因为是在 CentOS7 上安装测试，所以图形化客户端无法使用，可以通过在远程/宿主 Windows 主机上选择仅安装客户端使用，eg：DM管理工具，DM数据迁移工具等），先研究下国产数据库的使用，包括基础的 CRUD 操作以及事务支持，方便将来的部署与维护。由于本系列文章仅用于记录当时项目的国产化迁移过程，不涉及太多的理论内容，基本都是一系列的操作过程，所以行文

背景我们的业务场景是写少读多，一开始采用的是单库完成数据的读写操作。随着数据的增多，从开始的0到十万再到百万级，一路经过索引优化，SQL优化等操作，勉强撑住基本的查询，然而写操作与读操作相互影响，动不动就把数据库服务器的CPU打满。。当面临这种问题时，一般有两种解决的思路：垂直扩展（换更高配置的机器：CPU、内存、磁盘、带宽等）与水平扩展（加机器，多数据库服务实例，最好是同等配置）。垂直扩展在初期可以暂时解决问题，但随着投入成本的增加，后续可能并不能达到预期的收益，不是长久之计。水平扩展可通过一些相对较

背景服务器环境如下：[root@ecs-c8ee-0008 ~]# cat /etc/os-releaseNAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7"PRETTY_NAME="CentOS Linux 7 (Core)"ANSI_COLOR="0;31"CPE_NAME="cpe:/o:centos:centos:7"HOME_URL="https://www.ce

背景在之前的关于 TDengine 的系列文章中，我们只介绍到了 Server 端与 Client 端，除此之外，官方还有一个报警模块，用以根据用户定义的规则实现近实时的报警监测。本文是结合 TDengine 官方文档的具体实践，先是结合 Prometheus 的 AlertManager 实现报警推送；然后将 TDengine 产生的报警信息推送到我们自己编写的 SpringBoot 的 Web 服务回调，并完成 WebSocket 推送、告警邮件推送。场景在一系列的监测电压、电流、温度的时序数据中

背景中午睡了一觉，起来发现连不上我的 TDengine 服务了。。最近刚换了电脑，没错，这次的事故又是换电脑引发的。。服务报错SpringBoot项目的控制台错误信息： java.sql. SQLException: JNI ERROR (2354): JNI connection is NULL这个问题我曾经在这篇文章2-TDengine客户端连接，RESTful，JDBC里也遇到过， 当时是因为我没有开放 6030 的 UDP 端口，可是现在我连整个防火墙都关了。无奈之下，又到官网重温下客户

背景一开始的配置内容如下，重点关注数据库连接时的 timezone ，这也是 TDengine 官方集成 MyBatisPlus 时的 demo 里的配置方式；spring: datasource: driver-class-name: com.taosdata.jdbc.TSDBDriver url: jdbc:TAOS://hadoop1:6030/iot?charset=UTF-8&locale=en_US.UTF-8&timezone=UTC-8 us

背景为什么要对 TDengine 进行升级？从一开始使用 TDengine 就选了当时最新的版本 2.1.2.0 ，这个版本应该也不算旧了。不过今天在使用其分页功能查询表时，发现了一个问题， TDengine 毕竟是一款新的数据库，有问题也很正常。[root@hadoop2 ~]# taos --versionversion: 2.1.2.0问题复现前端页面点击不同页码后，表格的数据不变。。。使用 SpringBoot 集成了 TDengine , MyBatisPlus 后，在对一些表中

背景使用 TDengine 集成 MyBatistPlus 后，对我自己建的数据表进行分页查询时闪退，同时有条信息： Process finished with exit code -1073741819 (0xC0000005) 。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hRjFLf1o-1631184558525)(https://github.com/heartsuit/heartsuit.github.io/raw/master/pictures/2021-

背景目前我们已经使用 TDengine 存储了大量的数据，这些数据一般要求以各种方式呈现给用户或者统计后传给上层业务。作为一款时序数据库，非常适合存储结构化的日志数据，类似于 InfluxDB ， TDengine 可以方便地与 Grafana 进行集成，整个过程无需任何代码开发， TDengine 中数据表的内容可以在仪表盘上进行可视化展现。这次我们先以 TDengine 自行记录的日志以及官方提供的 tdengine-grafana.json 数据屏来演示。Note: TDengine 2.1.2.

背景之前的 TDengine 都是在单机上使用，因为 TDengine 已在2020年开源了其集群方案，那这次就来体验下 TDengine 集群。当前先使用两台虚拟机（第一台就是一直以来的单机版， FQDN 为hadoop1；第二台为新建的虚拟机， FQDN 为hadoop2），偶数台机器可能出现脑裂，所以 TDengine 还提供了个仲裁者 arbitrator ，这里先不配置，实际中通常使用奇数台机器来实现，下次使用3台（奇数台）容器体验集群；具体搭建步骤可参考官方文档，比较详细。主要步骤：停服

背景前面的体验中，用到了 taos 的客户端、 RESTful Connector 以及 JDBC-JNI 等连接方式，这次我们体验下更接近实际应用场景的示例： TDengine 与 SpringBoot ， MyBatis ， MyBatisPlus 等的集成。官方已经自带了示例， https://github.com/taosdata/TDengine/tree/develop/tests/examples/JDBC ；这些示例在安装的客户端目录也有： /usr/local/taos/example

背景前面都是使用命令行或者代码直接查看数据库表的数据，相对图形化界面工具来说不够直观，像我们通常使用的 MySQL ， MongoDB 都有对应的图形化管理工具： Navicat 、 HeidiSQL 、 NoSQLBooster 等。而 TDengine 官方没有对应的工具，不过借助开源社区、第三方，我们多了些选择。基于Electron开发的跨平台TDengine图形化管理工具地址：https://github.com/skye0207/TDengineGUINote：这个图形化

背景没错！ TDengine 在 SQL 层面并没有提供修改与删除操作的语句，即不存在 UPDATE , DELETE 语句。TDengine默认配置下数据不可更新！TDengine默认配置下数据存储10年！我们前面在体验 TDengine 基本功能时，仅涉及到数据库的创建、删除、数据表的创建、删除以及数据表的各类查询功能，那么我们通常说的数据表 CRUD （Create, Retrieve, Update, Delete），这里仅涉及到了创建与查询，那么更新和删除呢？我们从两个方面看待

背景上一篇的体验中，都是使用服务器本地的客户端连接后进行操作的，那么如何远程连接 TDengine 呢，比如：远程客户端，JDBC等。TDengine提供了丰富的应用程序开发接口，其中包括C/C++、Java、Python、Go、Node.js、C# 、RESTful等，便于用户快速开发应用。这里使用三种方式连接下远程的 taosd 服务：RESTful Connector；Windows远程客户端；JDBC-JNI；RESTful ConnectorRESTful Connector 是

背景我们的项目涉及物联网相关业务，由于一开始的年少无知，传感器数据采用了 MySQL 进行存储，经过两年的数据累积，目前几个核心表单表数据已过亿，虽然通过索引优化、SQL优化以及读写分离等措施，勉强满足基本的查询，能在秒级给出数据；但是数据量还在持续增加，当面对用户多维度的统计需求，在实现上、效率上总是那么不尽如人意。。仰天长叹，难道只能走分库分表或者迁移历史数据、区分冷热温数据这两条不归路了吗？一次偶然的机会，了解到诸如 InfluxDB , TDengine 这类时序数据库，它们的差别这里不做对比

背景项目开始时，数据库表设计是从概要设计到详细设计，再到数据库中的表结构，有一套完整的文档；然而，随着项目的演进，需求的变更，导致数据库表结构发生了比较大的变化（加表，加字段，该类型等），对于大多数小公司的项目，由于项目管理流程的不规范，在这个时候大概率是数据库设计文档没有同步跟进而过时；现在，问题来了，出于各种原因吧，需要提供当前数据库的设计文档（总不能一张张表、一个个字段去手写吧。。）；那么，怎么从现有的数据库表自动导出一个相对比较整齐的word文档呢？从网上看了下，有人提供了方案＼(☆o☆)

背景这里实验用的华为云鲲鹏服务器配置如下：Huawei Kunpeng 920 2.6GHz4vCPUs | 8GBopenEuler 20.03 64bit with ARM连接机器后，先查看系统相关信息，注意这里是 aarch64 的，后续软件包也需要是 aarch64 版本的。# 查看系统内核信息[root@ecs-kunpeng-0005 ~]# uname -aLinux ecs-kunpeng-0005 4.19.90-2003.4.0.0036.oe1.aarch64 #1

背景每当看到新闻说谁谁家服务又被黑客攻击了，谁家的数据又泄露了，基本上有一瞬间在脑海里会感受到“嗯，安全挺重要的”。讲真， MongoDB 数据泄露也已经是老生常谈了，然而，当这种事发生在自己身上的时候，这时的感觉还是很微妙的（岁月静好，突然！你的数据就没了(╥╯^╰╥)看似风平浪静，实则波诡云谲，暗流涌动），切身体会，心痛呀，对世上是否存在感同身受表示怀疑。。事情是这样的：前两天在一台云服务器上安装了 MongoDB ，为了方便测试，开放了默认的 27017 端口，并配置了可通过远程主机连接，也没有对

Background数据量突然增大时（瞬间大批量数据写入主库时），主从同步延迟不断增大。。数据量增大前后，RabbitMQ中的消息量对比，由起初的3050/s到稳定后的600700/s：Analysis数据集群中的机器配置：一主三从，配置（CPU、内存、磁盘、网络）完全一致CPU、内存、磁盘、网络均正常（除了CPU、网络稍微飘起来一点）基本可以确定，就是单纯的从库同步慢Solution解决方案：启用从库多线程同步，以下命令均在从库执行。查看数据库版本mysql> SELE