Heartsuit_运维,SpringBoot,Database-CSDN博客

原创 NodeRed拖拉拽实现OPCUA数据订阅，发布至MQTT并落库MySQL

几年前曾根据Node-Red官网示例进行了简单的体验，当时觉得这东西就是个玩具，拿过来玩一玩可以，不实用；但是如今发现有不少产品对其进行了集成，并做出了复杂的商业应用，这确实是极大的震撼。使用看似简单的工具，实现真正复杂的应用。介绍了运行Node-Red所需的环境准备，包括安装Node.js和一些其他工具。接下来，文章介绍了Node-Red的安装和运行方法。在拖拉拽操作部分，介绍了如何使用Node-Red进行OPCUA数据订阅、发布至MQTT主题和将数据存储到MySQL数据库中。

2023-09-24 10:00:00 41

原创 Win10安装Docker Desktop并运行Tutorial示例

前段时间一个项目需要在开发环境直接使用 Docker ，为了省事便计划在本地安装 Desktop 版的 Docker 。其实安装过程比较简单，可视化安装即可，主要是对安装与初步使用时遇到的问题做个记录。此外，自带了 docker-compose ，使用 Docker Desktop 可以提供一个轻量级、可移植和可靠的开发和部署环境，使得开发人员能够更加高效地构建和交付应用程序。

2023-09-23 20:30:00 80

原创基于ETLCloud的自定义规则调用第三方jar包实现繁体中文转为简体中文

在实际生产环境，我们在迁移到目标库之前还需要做一些过滤和转换工作；比如，在诗词数据迁移后，发现原来MySQL中的诗词数据都是繁体字，这就导致在直接迁移到ClickHouse做统计分析时生成的图表展示也是繁体中文的，对于不熟悉繁体中文的用户来说影响体验。今天就借助ETLCloud提供的自定义规则能力，同时调用第三方jar包opencc4j，将诗词数据库从MySQL迁移到ClickHouse，并在入库之前完成数据清洗转换工作，完成数据表中标题、作者与内容等字段的繁体中文到简体中文的转换。

2023-08-30 08:30:05 228

原创基于ETLCloud的MQTT数据发送组件实现与BifroMQ连接并发送数据到物联网设备

今天来实践一下MQTT数据发送/EMQ数据发送组件。先借助 ETLCloud 的库表输入组件获取 ClickHouse 的数据，然后将数据流以 MQTT 协议直接发送到指定 topic 中，实现发送指令或数据到物联网设备(EMQ兼容)；在实际的物联网场景中，我们有时会向部分客户端设备批量发送消息或指令，实现远程配置与控制操作。主流的 MQTT Broker 有： Mosquitto , EMQ , HiveMQ , VerneMQ , ActiveMQ 以及提供物联网设备接入服务的云服务商。

2023-08-29 08:40:05 534

原创 GitLab与GitLab Runner安装（RPM与Docker方式），CI/CD初体验

GitLab 是一个强大的版本控制系统和协作平台，记录一下在实际工作中关于 GitLab 的安装使用记录。一开始使用 GitLab 时，是在 CentOS7 上直接以 rpm 包的方式进行安装，仅作为代码托管工具来使用，版本： 14.10.4 。后续预研 GitLab 的 CI/CD 及流水线时，采用 Docker 方式安装，版本： 16.2.3-jh ；引入了 GitLab Runner ，版本： 16.2.0 。

2023-08-20 09:03:33 845

原创 CentOS6上安装MySQL8与Nginx开机自启

临时在一台华为云的 CentOS6 上安装部署一个业务系统，这里记录下 MySQL 8 与 Nginx 的安装过程中遇到的问题。一开始因为 yum 源无法使用，不能通过 yum install 命令直接安装 Nginx ，就通过上述源码的方式安装 Nginx ，但是过程中遇到了 Nginx 需要的 pcre 等依赖，就顺带解决下 yum 源问题。请注意， CentOS 6 已经过时，建议升级到更新的操作系统版本以获得更好的性能和安全性。

2023-08-20 08:44:52 104

原创 Python爬取上市公司利润表数据：数据抓取、数据入库与数据可视化一气呵成

综上，我们通过Python爬取上市公司利润表数据：数据抓取、数据入库与数据可视化一气呵成，体验了Python在爬虫和数据可视化方面具有简单易学、强大的库和框架支持、多线程和异步支持、数据处理能力强等优势。这次实践用到的 Python 库如下：requestsBeautifulSoup4jsonmatplotlibpandaspymysql

2023-08-12 23:59:53 127

原创 AJ-Report开源数据可视化引擎入门实践

这篇文章是关于 AJ-Report 内部分享的小总结，当时是按照以下内容进行讲解演示的。下载、源码启动数据源、数据集、大屏大屏可视化扩展数据源： ClickHouse开源数据可视化引擎： DataEase , FlyFish , GoView , DataGear , Superset , Grafana , Metabase …AJ-Report是全开源的一个国产BI平台，基于Spring Boot+MyBatisPlus+Vue技术栈实现的前后端分离项目，易于部署与整合。

2023-07-29 13:28:22 1128

原创我的MongoDB数据被黑客删库了，还勒索要支付比特币赎回

背景每当看到新闻说谁谁家服务又被黑客攻击了，谁家的数据又泄露了，基本上有一瞬间在脑海里会感受到“嗯，安全挺重要的”。讲真， MongoDB 数据泄露也已经是老生常谈了，然而，当这种事发生在自己身上的时候，这时的感觉还是很微妙的（岁月静好，突然！你的数据就没了(╥╯^╰╥)看似风平浪静，实则波诡云谲，暗流涌动），切身体会，心痛呀，对世上是否存在感同身受表示怀疑。。事情是这样的：前两天在一台云服务器上安装了 MongoDB ，为了方便测试，开放了默认的 27017 端口，并配置了可通过远程主机连接，也没有对

2023-07-17 09:47:34 3990 14

原创 CentOS7.8离线安装Docker24.0.2，离线安装gcc与g++环境

有时候运维时要求在内网环境下操作，即服务器无法连接互联网，那么就无法通过 yum 源在线安装。。这时，一般通过以下3种方式来安装需要的软件：下载源码包编译安装；下载对应平台编译好的安装包，解压即可；下载rpm包，本地安装。在离线环境下，如果需要进行源码编译安装，比如 Nginx 、 Redis 等，则要求具备 gcc 与 g++ 这些基础环境。以下通过 rpm 包进行 gcc 与 g++ 的离线安装。

2023-07-16 20:22:28 349

原创使用ETLCloud将ClickHouse中的统计数据转换为Echarts图表并发送至钉钉

日常工作中，有时候领导对某些数据统计感兴趣，会要求分析人员定期取数报送，面对这种需求，我们可以设计一个大屏，将领导关注的数据以可视化的方式展示；如今，借助 ETLCloud 的“生成Echarts图表H5页面”组件，可以将数据库表中的数据执行一个统计 SQL 然后把数据展示成可视化的图表通过邮件、企业微信、钉钉等直接发送给业务用户，实现报表统计、发送的全自动化。

2023-07-08 19:10:23 754

原创使用ETLCloud的库表同步组件实现异构数据表批量迁移：从SQLServer到MySQL

基于 ETLCloud 库表同步组件实现异构数据表批量迁移，完成从 SQLServer 到 MySQL 库表数据迁移实践，简单、直接、有效；此外，也记录了几个迁移过程中与配置相关的问题及解决方法。与以前使用的 CS 类型的迁移工具相比， ETLCloud 界面更友好、更容易上手，而且社区版的功能已经足够强大。ETLCloud：重构企业数据融合架构，解决各种复杂、即时、高合规的数据集成需求，一站式覆盖：任务开发、任务编排调度、血缘关系分析、数据质量管理、数据服务开发、任务监控。

2023-07-01 12:48:49 452

原创新一代数据集成工具ETLCloud入门实践：实现MySQL到ClickHouse的快速迁移

ETLCloud：新一代(智能)全域数据集成平台，兼容主流的数据库、数据仓库、数据湖甚至消息中间件等产品，全面国产化适配，提供可视化的自动化处理流程，用户只需要单击几下即可创建数据处理任务，轻松在多个异构数据源中实现数据同步以及数据清洗传输。我们曾把MySQL数据的多个关联表通过DataX工具同步到ClickHouse这款OLAP数据库中，最终实现了多表关联的高效查询；这里以诗词数据库从MySQL到ClickHouse的迁移任务为例，快速体验ETLCloud社区版实现零代码、可视化、高效数据迁移的使用过程。

2023-06-11 10:16:48 2940 2

原创 Docker安装ClickHouse22.6.9.11并与SpringBoot、MyBatisPlus集成

上一篇文章记录了在旧版的操作系统上直接安装低版本 ClickHouse （脱胎于俄罗斯头号搜索引擎的技术）的过程，开启远程访问并配置密码；其实通过 Docker 运行 ClickHouse 是我在2022年10月左右在虚拟机上实验的，当时 DockerHub 还可以打开，现在需要更换国内镜像才可以。。这里记录下当时使用 Docker 运行 ClickHouse 的过程；并与SpringBoot、MyBatisPlus集成实现CRUD功能。

2023-06-10 17:15:50 859

原创 CentOS6.10上离线安装ClickHouse19.9.5.36并修改默认数据存储目录

在一台装有 CentOS6.10 操作系统的主机上安装 ClickHouse。最后选择离线安装低版本 ClickHouse19.9.5.36 ；此外，系统还挂载了一个600G的数据盘，就修改 ClickHouse 的默认数据存储目录，将数据和日志放到数据盘中；配置了远程访问与密码，通过命令行客户端建立连接，最后建库建表。ClickHouse 服务成功启动后，后续就可以把我们关系型数据库中的大量数据迁移至 ClickHouse ，体验下这款以快著称的联机分析( OLAP )的列式数据库管理系统。

2023-06-10 11:08:48 594

原创基于DataX的海量时序数据迁移实战：从MySQL到TDengine3.x

MySQL 数据库中，设备历史数据单表过亿，如何快速、低成本地迁移到 TDengine3.x 中？从标题可以看出，我们使用的数据迁移/同步工具是 DataX ，数据源（ Source ）为传统的关系型数据库 MySQL ，目标库（ Sink ）为新型的具有场景特色的时序数据库 TDengine 。以上便是基于 DataX 完成从 MySQL 到 TDengine3.x 的时序数据迁移实战记录，借助 DataX 工具，通过配置文件驱动的方式完成了海量时序数据的快速迁移。

2023-05-28 11:38:44 1279 11

原创使用SpringBoot发送异步事件的方式解决前端接口调用超时问题

一个内部使用的系统，要求实现功能：管理员后台一键操作，不定期（举办活动时）批量更新并导出所有普通用户的用户与密码信息为 Excel 表格文件。目的是防止时间长了，如果密码不变的话，容易被别人冒用，所以每次不定期的活动开始前，要求重新生成密码。但是整个过程导致了前端导出接口超时。最终采用 Spring 自带的 ApplicationEventPublisher 异步方案解决因用户量增大导致生成密码、加密、导出的超时问题。

2023-05-27 17:29:45 1203

原创通过Milo实现的OPC UA客户端连接并订阅Prosys OPC UA Simulation Server模拟服务器

如果实际工作中，仅仅需要测试下 OPC UA 客户端的功能，那么就Duck不必搭建本地的 PLC 仿真环境，而是借助一些 OPC UA 服务端的模拟工具。在这篇文章中，我们将使用 Prosys OPC UA Simulation Server 作为 OPC UA 的服务端，并通过我们前面自己实现的 OPC UA 客户端来连接这个模拟的 OPC UA 的服务器。

2023-04-16 22:17:01 1525 1

原创 SpringBoot集成Milo库实现OPC UA客户端：连接、遍历节点、读取、写入、订阅与批量订阅

在这篇文章中，我们将通过 SpringBoot 集成 Milo 库实现一个 OPC UA 客户端，包括连接、遍历节点、读取、写入、订阅与批量订阅等功能。

2023-04-15 21:23:26 2892 2

原创从零搭建本地PLC仿真环境：SIMATIC_PLCSIM_Advanced、Portal、KEPServer、OPCUA客户端工具

近期在为一个工业控制领域的上位机数采项目进行技术预研，苦于手头没有PLC硬件设备，为了快速、完整地体验下从 PLC 数据采集、传输到上位机进行存储、展现的完整流程，决定基于 SIMATIC_PLCSIM_Advanced_V3 、 TIA Portal V16 、 KEPServerEX6 以及 UAExpert 搭建西门子 PLC 的仿真环境。整体组件的架构：PLC是TCP服务器；KEPServer是TCP客户端，同时也是OPC服务器，并且自带了是OPC客户端；UAExpert是OPC客户端。

2023-03-26 10:51:20 2891 3

原创异构数据库转换工具体验：将SQLServer数据转换迁移到MySQL

想将一个线上数据库从 SQLServer 转换迁移到 MySQL ，数据表70多张，数据量不大。从网上看很多推荐使用 SQLyog ，还有 Oracle MySQL Server 官方的 Workbeach 来做迁移，但是步骤稍显繁琐；后来从一篇文章的某个角落中发现了 DB2DB 这个工具，出自于米软科技。从软件功能上看，当前版本 1.30.107 支持 SQLServer , MySQL , SQLite , Access , SQLServer CE , PostgreSQL 等6种数据库的互相迁移。

2023-03-25 20:32:31 763

原创 Cursor编程初体验，搭载GPT-4大模型，你的AI助手，自然语言编程来了

这两天体验了下最新生产力工具Cursor，基于最新的 GPT-4 大模型，目前免费，国内可访问，不限次数，你确定不来体验一把？以下通过12个简单的问题，从*语言支持*、*语法支持*、*业务场景*、*代码解释*、*代码优化*等方面来体验一把这个编程生产力利器。理论上，对于复杂的任务，只要分解到GPT能够理解的那一步，都可以胜任。程序员的AI助手，自然语言编程真的来了。至于下面生成的代码能不能用，还需要进行实际验证，但目测从语言支持、语义理解以及逻辑推理等方面来看，可用率至少80%。

2023-03-21 11:54:02 5356 25

原创 IoT小程序框架快速体验：ASP-80智显面板设备配网与真机更新

从环境搭建到程序开发，再到真机更新体验了阿里云 IoT小程序框架的使用流程。其中，略过了程序开发过程，而是直接采用入门案例中的公板案例（模拟器测试）与智能闹钟案例（真机测试：ASP-80智显面板），程序开发主要是基于 Vue 的前端开发工作，因时间原因未能完成与云联动的测评，这里主要记录下遇到的3个小问题。 VScode无法调起模拟器。如何使用串口调试工具发送命令。设备配网报错。

2023-03-19 19:05:55 2610

原创在Linux上将U盘格式化为ntfs

由一个 `vfat` 格式的U盘，之前是在 `Linux` 上进行格式化的，在Windows上读不出来。计划再到 `Linux` 上将其格式化为 `NTFS` 的，这样就可以在 `Windows` 上使用了。不过在操作过程中遇到了几个问题。1. `vfat`格式的U盘在`Linux`上挂载之后中文乱码；2. `mkfs`命令按下`Tab`键后系统上没有`ntfs`选项（如果是国产的操作系统，一般是有的）；3. 如何格式化U盘。关注磁盘 `/dev/sdb` 下的 `/dev/sdb1` 。

2023-03-11 20:01:15 1343

原创从MySQL迁移至神通数据库报错：ERROR, Attribute XX must be GROUPed or used in an aggregate function

一个在 MySQL 下正常运行的分组语句，迁移至神通数据库后报错：ERROR, Attribute CANDIDATE_ID must be GROUPed or used in an aggregate function。在 MySQL5.7 及以上的版本中，由于 MySQL 的 sql_mode 默认配置中包含 ONLY_FULL_GROUP_BY ，即按照 SQL92标准执行：select 、 having 或 order by 后面存在的非聚合列必须全部出现在 group by 语句中。

2023-02-11 16:53:50 638 1

原创东方通TongWeb7中间件在CentOS7上的安装、使用与开机自启

对当时做国产化迁移适配进行预研的东方通 `TongWeb` 中间件的安装、使用做一个记录，好记性不如烂笔头，过两天估计就忘记了。如果 `TongWeb` 版本高于**7.0.4.2**（实际生产环境中采购的 `TongWeb` 一般都会高于这个版本），可以直接运行 `TongWeb` 的 `bin` 目录下的 `installservice.sh` 命令，完成 `systemd` 服务注册。

2023-01-30 08:55:06 888

原创 TDengine3.0全方位安装体验与数据订阅进阶功能实践

这篇文章的内容主要是对最新发布的TDengine3.x安装体验以及数据订阅功能的实践。其中，数据订阅的场景为：在一系列的监测电压、电流、温度的时序数据中，一旦发现温度值超过50℃时，进行告警。在实际中，当消费了告警数据后，可以进行告警推送：短信、邮箱、钉钉、企业微信、飞书、 WebHook 等，就像下面我们项目中的这样，可选多种告警推送方式。

2023-01-02 22:25:07 1110

原创这一年，这些书：2022年读书笔记

Note: 以下 `markdown` 格式文本由 `json2md` 自动转换生成，可参考[JSON转Markdown：我把阅读数据从MongoDB中导出转换为.md了](https://blog.csdn.net/u013810234/article/details/113360229)了解具体的转换过程。2022年读书笔记

2022-12-31 17:50:11 12336

原创 SpringBoot与MyBatistaPlus通过jtds集成SQLServer

通过 `SpringBoot` 与 `MyBatis Plus` 实现与 `SQLServer` 的集成， `CRUD` 。java.lang.AbstractMethodError: null原因： `net.sourceforge.jtds.jdbc.JtdsConnection` 没有实现 `isValid` ，因此需要指定 `connection-test-query` 以确保 `isValid` 不调用该方法。

2022-12-31 13:43:25 946

原创国产化服务环境中使用gunicorn部署Flask应用并配置开机自启

服务端由第三方部署了一个基于darknet（一个较为轻型的完全基于C与CUDA的开源深度学习框架）的识别算法服务，通过Flask的Web服务对业务服务暴露API接口。作为测试，一开始是直接通过python3 app.py的命令行启动的服务，不过在控制台可以看到以下警告信息：WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.

2022-12-24 13:44:58 663

led-banner 0.0.2.rar

electron-v1.6.6-win32-x64.zip

空空如也