- 博客(11)
- 资源 (5)
- 收藏
- 关注
原创 分库分表导致flink-cdc-connectors流频繁full gc
Docshttps://pyie1bcd1x.feishu.cn/docs/doccnpn6mZ6rU1vrmAClIOnc8ec
2022-03-16 17:33:16 2750
原创 Flink-connector-jdbc 源码阅读
Docshttps://pyie1bcd1x.feishu.cn/docs/doccn8SP6IDuf7OjPoYw4Eu2UBb具体到飞书去看
2022-03-01 11:05:49 1854
原创 pg9.4 VS pg12大表join
pg9.4 VS pg12大表join1、环境1、从ECM生产财务库、TC库分别同步数据到pg9.4和pg12版本,保证表数据量一致。2、数据库配置比较数据库版本CPU核数内存最大IOPS存储类型9.48核16G8000本地SSD盘128核16G26800ESSD云盘3、由于ECM的导出大部分都是按照时间范围的大数据量导出,测试以发票为例,一个月的数据量。2、前期准备改原表名alter table f_invoice rename
2020-06-10 11:30:29 529
原创 pg12自动创建表分区
pg12自动创建表分区总体思路按月增加分区,通过pg_cron来每月调度。pg_cron参考:https://help.aliyun.com/document_detail/150355.html?spm=a2c4g.11186623.6.1080.6b31157f7509OO-- 每个月的4号执行指定脚本。SELECT cron.schedule('* * 4 * *', 'select 1;');1、常用操作查看分区树SELECT * FROM pg_partition_tree('
2020-06-09 16:25:28 2684
原创 pg日常运维
pg日常运维1、kill真正运行的语句SELECT pg_terminate_backend(PID);2、批量kill相关的语句,例如:删除订单导出再用的sqlselect pg_terminate_backend(pid) from pg_stat_activity where datname = 'ins_dw_prd' and usename='etl_admin' and query like 'insert into export_ordermain%'3、查找表名 SELECT
2020-06-06 11:16:33 585
原创 postgresql大表join优化
postgresql大表join优化一、背景1、数据量:表名 数据量 f_invoice 87346130 f_invoice_item 97535867 2、索引:表:f_invoice_itemCREATE INDEX f_invoice_item_order_item_id_idx ON ins_dw_prd12.f_invoice_item USING btree (order_item_id)CREATE INDEX f_invoice_ite
2020-06-05 09:47:40 6250
原创 【笔记】现代流计算的基石:Google DataFlow
假设我们永远无法知道数据流是否终结,何时数据会变完整。新的数据会源源不断而来,老的数据可能会被撤销或更新。设计思想目标抽象模型对无边界,无序的数据源,允许按数据本身的特征进行窗口计算,得到基于事件发生时间的有序结果,并能在准确性、延迟程度和处理成本之间调整。解构数据处理管道的四个相关维度,使得它们透明地,灵活地进行组合。计算什么结果按事件发生时间计算在流计算处理时间时被...
2019-08-23 08:54:29 317
原创 Mysql误操作快速还原数据
Mysql误操作快速还原数据背景在日常的工作过程中,ECM存在大量的人工直接操作数据库来修改数据的场景,很难做到万无一失。当没有备份,并且误操作更新/删除了大量的数据的时候,需要快速恢复,以免影响正常的业务使用。恢复方案1、从数据备份中恢复恢复步骤:使用阿里云上的备份数据创建备份的rds实例(一般来讲是一天一次) 从备份的rds实例中获取tablexx的数据。 导入到生...
2019-08-07 09:44:47 834
原创 JVM频繁Full GC导致服务不可用定位过程
JVM频繁Full GC导致服务不可用定位过程 背景:问题描述:JVM启动参数配置:Jstat 实时监控真相逐渐浮现jstat 分析gc原因:使用mat辅助分析定位哪里引用了groovy导致内存泄漏查看ShardingJDBC发版记录写在最后背景:公司推行微服务策略,我负责的XX模块相对于其他业务来讲相对独立,所以作为微服务推行的试点。于是分析业务边界 ;做相关的架构升级:从Spri...
2018-10-31 11:37:55 5089 1
原创 MySQLNonTransientConnectionException: No operations allowed after statement closed
错误日志:[2018-09-18 19:25:01.564] [24793183102180408write] [ERROR] [c.m.e.m.i.h.p.AlipayExcelProcessor] - 校验流水导入数据错误:{}org.springframework.dao.DataAccessResourceFailureException:### Error querying d...
2018-09-18 21:01:54 1351
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人