yuhh_-CSDN博客

原创 Flink cdc 实时监听oracle归档日志及oracle数据延迟参数调优

flink cdc 实时监听oracle归档日志，oracle数据延迟参数调优。flink使用oracle cdc连接器时数据延迟较大，需加入debezium参数进行调整，以下代码均已加入该配置。##无法启动时错误代码1261、1263 可指定pfile文件启动

2023-01-12 15:03:27 3923 5

原创【DataSphereStudio - 1.1.0 安装介绍】

DataSphere Studio（简称 DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件 Linkis ，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。【DataSphereStudio - 1.1.0 安装介绍】

2022-11-08 21:30:43 2138 4

原创【Apache Phoenix简介、存储结构、基本操作、安装】

Apache Phoenix简介、存储结构、基本操作、安装（附安装包）1. 简介、概述1.1 phoenix 特点1.2 存储结构1.3 Phoenix 与 Hbase 之间的表映射关系1.4 Phoenix数据类型2. 基于CDH6.3.2离线安装 Phoenix Parcel 5.0.0-2.0（附安装包）3. Phoenix 常用命令、基本操作4. 补充......

2022-08-29 16:23:25 2905

原创 Flink cdc 介绍及使用 FlinkCDC读取mysql 及 jdbc 连接参数配置

Flink cdc 介绍常见cdc开源方案Flink cdc 使用案例Flink cdc读取mysql 及 jdbc 连接参数配置1.Maven POM 文件2.Flink CDC 代码补充CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛；Mysql binlog 开启

2022-08-25 12:05:54 13930 5

原创 Hbase手动split、compact、merge、批量合并分区

通过以上手动Split方法可临时性解决Region倾斜问题。merge_regions .通过以上手动Split方法可临时性解决Region倾斜问题

2022-08-15 16:40:16 2393

原创 HBase 大数据量迁移。hbase snapshot 快照方式数据迁移

snapshot备份默认已开启（0.95版本之后默认开启，也可手动添加hbase-site.xml配置）、SnapShot 快照迁移流程、SnapShot迁移问题记录

2022-08-15 14:16:25 1980

原创 HBase高可用HMaster进入Active状态重复重启失败，由MasterProcWals状态日志过多导致Master重复失败

CDH下服务角色列表Hbase中没有Active的Master；集群告警提示 “未见活动的Master”；Hbase的Master WebUI中查看Current Active Master主机,实际状态为 “backup”；Hbase节点 /var/log/hbase/ 目录下查看日志；报错信息：FileSystem closed。...

2022-08-15 13:21:07 1139

原创【GitLab Error code 500 错误日志提示 access denied 拒绝访问】

执行lsattr命令后可以看到当前文件有个i属性，查阅命令帮助文档可以看到有i属性的文件是不能修改的，更不可被删除，即使是root用户也不可。accessdenied文件权限自动发生降权的具体原因没有排查到，有遇到相同情况的朋友可以一起交流~此处介绍自建Gitlab由子服务运行失败所引起的code500异常案例和其解决方法。服务器重启后无法访问GitLab服务UI，服务页面显示code500。执行chmod命令会发现无法没有权限修改，即使是root用户也不行。......

2022-08-01 15:37:34 2782 1

haoheiao的博客