- 博客(10)
- 收藏
- 关注
RSS订阅原创 datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例
4. 查看DataX配置文件模板：按自己需要填写reader和writer5. 格式示例"job": {"content": ["reader": {"name": {: ["jdbcUrl": [],"table": ["t_info"],"password""username""sa""where""column": ["id"
2024-03-14 10:08:42
1008
1
原创 安装sqlserver及fink sqlserver cdc连接
allow_partition_switch 为 bit，默认值为 1。[,[ @supports_net_changes = ] supports_net_changes ]---指示是否对此捕获实例启用净更改查询支持如果此表有主键，或者有已使用 @index_name 参数进行标识的唯一索引，则此参数的默认值为 1。[,[ @capture_instance = ] 'capture_instance' ]--是用于命名变更数据捕获对象的捕获实例的名称，这个名称在后面的存储过程和函数中需要经常用到。
2024-03-05 10:43:52
816
原创 使用flink sql 客户端调试flink sql
需求：临时调试 flink sql环境：flink on yarn ，使用yarn-session模式。
2024-01-24 10:36:39
427
1
原创 记：生产环境 Mysql 数据库数据迁移
以下命令场景是我将历史数据写入到新数据库中的临时表中，而实时任务写入的mysql表已经更改为正式表，由于此表数据量较大，使用load data命令将临时表的历史数据批量同步至正式表，虽然两张表都在新数据库，可以使用insert select 命令导入，但由于数据量较大，执行效率低，容易超时失败，所以使用load命令更高效。数据类型包括结构化数据、非结构化数据，最后形成的ADS层指标数据写入mysql指标数据库，由于业务原因需要将mysql进行迁移，以下涉及的迁移是指涉及指标数据库mysql的迁移。
2023-12-26 17:41:21
1858
1
原创 时序数据库：TDengine安装部署 3节点
进入到TDengine-server-2.0.0.0-Linux-x64.tar.gz安装包所在目录，先解压文件后，进入子目录，执行其中的install.sh安装脚本：在所有物理节点安装 TDengine，且版本必须是一致的，但不要启动 taosd
2023-12-12 10:18:15
1997
1
原创 Jps命令无法返回问题
显示/dev/mapper/centos-root 这里是100%！/dev/mapper/centos-root 这里是39%了，之前占用是100%mkdir: 无法创建目录"hsperfdata_xiemx": 设备上没有空间。2. 再 du -h -x --max-depth=1 看具体哪里占用多。3. 此时重新jps。再看已经显示jps进程了，文件夹也自动创建了。问题：输入jps后没有返回，实际上是有java进程的。1. 先 df -i 看看哪里占用多。看到 opt 比较多。
2023-12-08 10:10:23
424
1
原创 canal-1.1.7 实时同步mysql至kafka配置
Releases · alibaba/canal · GitHub我下载的是最新版1.1.7：canal.deployer-1.1.7.tar.gz此为部署安装包，没有管理界面，可满足基础使用。上传至服务器，在需要安装的路径新建一个canal-1.1.7文件夹，解压至该文件夹：修改文件： 重启mysql服务以上表示创建canal用户，密码为canal123，授权所有库的查询、插入、复制slave等所有权限，可根据需求自行修改。%表示允许canal用户使用任何远程ip登录（前提是服务器联通）。 若报错：-b
2023-11-21 11:11:57
549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人