Heartsuit的博客

以上就是基于ETLCloud实时数据集成功能实现的单表CDC数据从MySQL到ClickHouse的同步实践，不过可能因为目标库为ClickHouse，其更新、删除操作与传统的关系型数据库的标准SQL有所区别，导致更新和删除数据的操作未能成功同步，这个问题已反馈给官方技术人员。ETLCloud提供了实时数据传输统计图形展示，对同步的进度及异常数据进行近实时的监控。

在实际生产环境，我们在迁移到目标库之前还需要做一些过滤和转换工作；比如，在诗词数据迁移后，发现原来MySQL中的诗词数据都是繁体字，这就导致在直接迁移到ClickHouse做统计分析时生成的图表展示也是繁体中文的，对于不熟悉繁体中文的用户来说影响体验。今天就借助ETLCloud提供的自定义规则能力，同时调用第三方jar包opencc4j，将诗词数据库从MySQL迁移到ClickHouse，并在入库之前完成数据清洗转换工作，完成数据表中标题、作者与内容等字段的繁体中文到简体中文的转换。

今天来实践一下MQTT数据发送/EMQ数据发送组件。先借助 ETLCloud 的库表输入组件获取 ClickHouse 的数据，然后将数据流以 MQTT 协议直接发送到指定 topic 中，实现发送指令或数据到物联网设备(EMQ兼容)；在实际的物联网场景中，我们有时会向部分客户端设备批量发送消息或指令，实现远程配置与控制操作。主流的 MQTT Broker 有： Mosquitto , EMQ , HiveMQ , VerneMQ , ActiveMQ 以及提供物联网设备接入服务的云服务商。

综上，我们通过Python爬取上市公司利润表数据：数据抓取、数据入库与数据可视化一气呵成，体验了Python在爬虫和数据可视化方面具有简单易学、强大的库和框架支持、多线程和异步支持、数据处理能力强等优势。这次实践用到的 Python 库如下：requestsBeautifulSoup4jsonmatplotlibpandaspymysql

这篇文章是关于 AJ-Report 内部分享的小总结，当时是按照以下内容进行讲解演示的。下载、源码启动数据源、数据集、大屏大屏可视化扩展数据源： ClickHouse开源数据可视化引擎： DataEase , FlyFish , GoView , DataGear , Superset , Grafana , Metabase …AJ-Report是全开源的一个国产BI平台，基于Spring Boot+MyBatisPlus+Vue技术栈实现的前后端分离项目，易于部署与整合。

想将一个线上数据库从 SQLServer 转换迁移到 MySQL ，数据表70多张，数据量不大。从网上看很多推荐使用 SQLyog ，还有 Oracle MySQL Server 官方的 Workbeach 来做迁移，但是步骤稍显繁琐；后来从一篇文章的某个角落中发现了 DB2DB 这个工具，出自于米软科技。从软件功能上看，当前版本 1.30.107 支持 SQLServer , MySQL , SQLite , Access , SQLServer CE , PostgreSQL 等6种数据库的互相迁移。

日常工作中，有时候领导对某些数据统计感兴趣，会要求分析人员定期取数报送，面对这种需求，我们可以设计一个大屏，将领导关注的数据以可视化的方式展示；如今，借助 ETLCloud 的“生成Echarts图表H5页面”组件，可以将数据库表中的数据执行一个统计 SQL 然后把数据展示成可视化的图表通过邮件、企业微信、钉钉等直接发送给业务用户，实现报表统计、发送的全自动化。

基于 ETLCloud 库表同步组件实现异构数据表批量迁移，完成从 SQLServer 到 MySQL 库表数据迁移实践，简单、直接、有效；此外，也记录了几个迁移过程中与配置相关的问题及解决方法。与以前使用的 CS 类型的迁移工具相比， ETLCloud 界面更友好、更容易上手，而且社区版的功能已经足够强大。ETLCloud：重构企业数据融合架构，解决各种复杂、即时、高合规的数据集成需求，一站式覆盖：任务开发、任务编排调度、血缘关系分析、数据质量管理、数据服务开发、任务监控。

ETLCloud：新一代(智能)全域数据集成平台，兼容主流的数据库、数据仓库、数据湖甚至消息中间件等产品，全面国产化适配，提供可视化的自动化处理流程，用户只需要单击几下即可创建数据处理任务，轻松在多个异构数据源中实现数据同步以及数据清洗传输。我们曾把MySQL数据的多个关联表通过DataX工具同步到ClickHouse这款OLAP数据库中，最终实现了多表关联的高效查询；这里以诗词数据库从MySQL到ClickHouse的迁移任务为例，快速体验ETLCloud社区版实现零代码、可视化、高效数据迁移的使用过程。

在一台装有 CentOS6.10 操作系统的主机上安装 ClickHouse。最后选择离线安装低版本 ClickHouse19.9.5.36 ；此外，系统还挂载了一个600G的数据盘，就修改 ClickHouse 的默认数据存储目录，将数据和日志放到数据盘中；配置了远程访问与密码，通过命令行客户端建立连接，最后建库建表。ClickHouse 服务成功启动后，后续就可以把我们关系型数据库中的大量数据迁移至 ClickHouse ，体验下这款以快著称的联机分析( OLAP )的列式数据库管理系统。

这篇文章的内容主要是对最新发布的TDengine3.x安装体验以及数据订阅功能的实践。其中，数据订阅的场景为：在一系列的监测电压、电流、温度的时序数据中，一旦发现温度值超过50℃时，进行告警。在实际中，当消费了告警数据后，可以进行告警推送：短信、邮箱、钉钉、企业微信、飞书、 WebHook 等，就像下面我们项目中的这样，可选多种告警推送方式。

竟然是由于硬盘空间不足导致的高水位报错，这种问题一般不好排查，特此记录。附：以前写的关于ElasticSearch的内容，包含分布式搜索引擎集群及其高可用测试。ElasticSearch入门（一）单节点初体验ElasticSearch入门（二）批量导入数据（Postman与Kibana）ElasticSearch入门（三）Logstash实现MySQL数据同步至ElasticSearchElasticSearch入门（四）常用插件：Head插件与ik分词器。

背景我们的项目涉及物联网相关业务，由于一开始的年少无知，传感器数据采用了 MySQL 进行存储，经过两年的数据累积，目前几个核心表单表数据已过亿，虽然通过索引优化、SQL优化以及读写分离等措施，勉强满足基本的查询，能在秒级给出数据；但是数据量还在持续增加，当面对用户多维度的统计需求，在实现上、效率上总是那么不尽如人意。。仰天长叹，难道只能走分库分表或者迁移历史数据、区分冷热温数据这两条不归路了吗？一次偶然的机会，了解到诸如 InfluxDB , TDengine 这类时序数据库，它们的差别这里不做对比

背景安装完成后，第一次启动 OpenTSDB ，访问 OpenTSDB 的 Web 控制台： http://hadoop6:4242/ ，发现页面打不开。查看 OpenTSDB 状态。[root@hadoop6 opentsdb]# /usr/share/opentsdb/etc/init.d/opentsdb statusopentsdb 已死，但 pid 文件存在[root@hadoop6 opentsdb]# tailf /var/log/opentsdb/opentsdb-hadoop6-o

背景OpenTSDB 是一种采用 Java 实现，底层基于 HBase 列式存储与查询的分布式、可伸缩、开源的时间序列数据库。官网：http://opentsdb.net/官方文档：http://opentsdb.net/docs/build/html/user_guide/quickstart.htmlGitHub上的Release下载地址：https://github.com/OpenTSDB/opentsdb/releases/tag/v2.4.1系统环境在 CentOS