baidu_26507163-CSDN博客

原创对于软件设计模式的想法

提示：本文主要介绍个人对软件设计模式的思考，是基于过往十多年开发经历中对于设计模式的应用总结。希望通过不断积累和实践，提高软件设计能力设计模式是软件工程中的一个重要概念，它是一套被反复使用、多数人知晓的、经过分类编目的代码设计经验的总结。设计模式的主要目的是为了提高代码的可重用性、可理解性和可靠性。设计模式并不是算法，而是关注于对象和类之间的交互和设计决策，为解决特定类型的通用软件设计问题提供定制化的解决方案。这些模式可以视为一种共享的专业知识，有助于初学者和其他设计者掌握和理解复杂的设计概念。

2024-03-18 17:34:59 465

原创多条件状态机设计

提示：本文设计了一套针对复杂场景下的状态机服务，支持从多种事件触发，做状态的正确流转状态机服务在很多系统中都是很重要的，经常用来管理业务实体的状态，需要从各个业务线、系统的事件消息中计算出业务实体的状态值。状态机往往被设计成一个独立的服务，基于事件驱动，设计目标往往是准确、健壮、可扩展和高性能。如何设计出这一套状态机呢，个人认为具体应用场景有具体应对的技术方案，简单的、复杂的都有。本文在实际项目中针对状态机就设计了一个多版本状态机的技术方案。

2023-08-18 19:32:38 167

原创分库分表情况下通过batch模式进一步提高读写性能

提示：本文主要介绍最近做的数据库优化，并整理成文档记录一下之前做的数据库分库分表优化已经在线上环境跑了一年了，数据库性能指标很稳定，但是在近期由于业务需要，往数据里写入了更多的数据。从请求上看，整体数据库DML的throughput大量增加，差不多是翻了8倍，数据库集群CPU最高到90%，亟需解决。在经历了长达3个月的技术优化后，数据库集群指标终于回归正常。我们采取了batch模式，通过批量的方式提高数据库链接的使用率，降低了吞吐量，这涉及到业务改造。

2023-07-26 16:54:25 154

原创开放原子训练营（第一季）铜锁探密学习营学习心得

铜锁/Tongsuo是一个提供现代密码学算法和安全通信协议的开源基础密码库，为存储、网络、密钥管理、隐私计算等诸多业务场景提供底层的密码学基础能力，实现数据在传输、使用、存储等过程中的私密性、完整性和可认证性，为数据生命周期中的隐私和安全提供保护能力(更详细的介绍见github库铜锁凭借自己完善的功能，在实际业务中的各种安全场景都可以得到大量运用，是个很不多的国产开源项目。

2023-05-10 21:03:44 239

原创开放原子训练营（第二季）RT-Thread Nano学习营学习心得

RT-Thread 的介绍见百度百科，是一个很优秀的嵌入式系统，国内装机量已到十亿级，性能、稳定性等无疑已经是得到各行业的认证的。个人有幸收到csdn的学习训练营推送，本着学习的心态参加了入门到实践的线下学习。在，主要学习的是RT-Thread Studio的安装、Sdk manager的使用以及MDK项目结构说明。个人目前公司硬件产品使用的嵌入式系统是FreeRTOS，相比于RT-Thread各有优劣。

2023-04-23 23:03:01 4821

原创爬虫技术整理

爬虫技术整理前言一、爬虫架构二、爬虫相关技术栈三、爬虫使用场景四、如何自建爬虫程序五、如何使用开源爬虫六、如何使用云爬虫七、海量数据爬虫优化八、使用爬虫的法律风险总结前言提示：主要是收集爬虫技术相关的资料，给有需要的同学看看爬虫是作为互联网时代产生的工具技术，最开始应用于搜索引擎，用来做网站的信息收集。随着业态发展，一些内容平台也大量运用爬虫技术从其他网站获取高质量内容，一些单独的数据分析、算法研究项目也应用爬虫技术去获取信息来源和数据输入。本文将重点整理爬虫技术相关的技术资料，以待不时之需。一

2022-05-30 10:47:46 611 1

原创复杂场景下业务数据库优化实践

复杂业务场景数据库性能优化实践前言一、对业务需求的理解二、数据库选型的成本调研三、数据比对策略四、数据库压测最终的数据库优化方案总结前言提示：坑点很多，预计2个月的工期前前后后花了半年，中间技术方案调整了很多次，感谢同事的耐心和支持，让我做完这个事情从哪里说起呢，首先说做这个事情的背景吧。在半年前刚接手一个toc的项目，业务数据库用的mysql，平时经常出现cpu高的报警。在今年年初就将数据库优化作为技术这边高优的事项。个人对技术是一向比较自信和乐观，秉着勇于挑战的精神，爽快的接手起来。刚开始，技

2022-05-24 16:28:44 399

原创基于FLINK搭建实时数仓技术调研

基于FLINK搭建实时数仓技术调研基于FLINK搭建实时数仓技术调研确定适合的OLTP数据库结合OLTP和OLAP的实时数仓架构实时数仓ETL流程总结基于FLINK搭建实时数仓技术调研____数据仓库(DATA WAREHOUSE)，是做大数据基本都会去涉及的项目。简单来说，数仓是数据结构化存储和查询，并利用分布式计算引擎进行计算得到业务需要的指标，以支持企业商业智能，通过充分挖掘数据价值，形成数据资产。____传统的数据仓库偏离线处理，通过定时调度实现数据的ETL，指标的更新依赖于调度的频率，常见于

2021-03-10 19:07:23 471 2

原创 Druid.io数据仓库实践

flink维表join实践-druid.io前言一、flink读取druid.io数据流插件二、flink对druid.io lookup功能依赖于JdbcTableSourceflink写入druid.io数据插件总结前言Druid.io做为目前正在使用的OLAP分析数据库，已在公司大部分业务分析中使用。在Druid.io的官网上了解到，该工具除了分析功能，还可以做为一个数据仓库使用。做为实验，个人调研了flink接入Druid.io数据进行计算再写入driod.io的功能，供建仓库使用，调研内容如

2021-01-16 21:22:07 299

原创 iceberg数据湖实践踩坑记录

iceberg数据湖实践踩坑记录坑点描述一、数据湖存储二、flink读写iceberg三、presto接入iceberg查询总结坑点描述iceberg是Dremio公司开源的一个数据湖项目，核心思想借鉴于dremio数据湖引擎。Dremio的其商业化产品dremio是一个基于SaaS的数据服务平台(Daas)，其技术团队中有从mapr公司出来的两个技术大佬，毋庸置疑其技术实力。目前，iceberg在多家大厂也有不少成功案例。在经过案例的研究后，决定进行iceberg数据湖实践。在实践过程中遇到的一些

2021-01-10 11:12:20 1936 4

原创问题排查－Flink session窗口最后一个不过期问题

问题描述线上使用flink进行session窗口分析，分析结果写入db。在使用分析结果时发现实际统计数据缺少最后一条窗口的数据。排查过程查看flink写入db日志，发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期，遂采取以下步骤进行问题复现和定位。联系业务系统，梳理session窗口数据来源经反馈数据来源为用户xx操作。线上环境模拟用户操作，触发session窗口数据写入业务系统有写入session窗口数据日志。查看flink写入db日志

2020-12-30 10:46:33 1118 1

原创数据分析工具Druid.io使用体会

数据分析工具Druid.io使用体会使用场景一、数据OLAP分析问题:二、时间序列数据仓库Data Warehouse问题:总结使用场景个人认为数据分析是数据挖掘工作中比较重要的一环，是基于已有数据在各个维度、方向上进行的分析工作。通过对数据进行钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)等操作，数据分析师们可以从海量数据中发现显见的数据规律，从而反馈于业务，进而产生商业价值。在个人所接触过的数据分析软件中，druid.io是目前功能

2020-12-10 23:48:02 189

原创搭建flink任务管理ververica平台踩坑记录

搭建flink任务管理ververica平台踩坑记录坑点描述flink版本使用内部镜像而非基于alibaba开源镜像合并自定义镜像与平台提供镜像差异Deployment固定使用Application模式部署，无法指定其他部署模式坑点描述ververica平台是Ververica公司的针对flink商业产品。个人出于实践探索的目的，切实调研了一下该平台的功能。因为公司服务都部署在k8s环境中，所以搭建该平台使用了容器镜像的方式。过程中发现，这玩意上手是真不容易，坑比预想的多多了。坑点如下：flink版本

2020-11-20 18:33:54 2462 1

baidu_26507163的博客