JAVA领域优质创作者，基于分片网络查询方法专利发明者。

1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。

在对MYSQL表进行更新操作过程中可能会出现死锁问题，这时我们需要释放锁 ，保障被锁 数据 表能够 正常被其他应用程序更新。3、clickhouse运维。1、MYSQL死锁处理。2、mysql中查询。保留前一天的日期数据。

数据中心的用户希望数据是由他们熟悉的术语表现的。数据集市（Data Mart），也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。

通过建设数仓，以数据可视化和数据应用的方式赋能业务，TBDS - 数据仓库（简称 TCHouse）提供数据集成和开发处理，完成数仓分层建模，搭配海量数据查询引擎，提升数据查询性能，满足实时/在线数据分析的需要。DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品，覆盖数据湖仓中事前、事中、事后的数据生命周期，通过数据治理健康分、质量规则、数据大血缘等能力，将书面的数据治理规范落地成平台化的产品能力，让数据治理不再只是一个 “阶段性项目”，而是一个“可持续的运营项目”。

密码策略：show variables like 'validate_password%';（mysql 5.7以上）口令更换周期：show global variables 'default_password_lifetime';validate_password_mixed_case_count：大小写字符长度，至少1个。validate_password_special_char_count：特殊字符至少1个。操作超时锁定：show variables like '%wait_timeout%';

partner_level_code` varchar(100) DEFAULT NULL COMMENT '合作商会员等级代码',`partner_level_name` varchar(100) DEFAULT NULL COMMENT '合作商会员等级名称',`partner_level_name` varchar(100) DEFAULT NULL COMMENT '合作商会员等级名称',

ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），它使用C++语言编写，主要面向在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。ClickHouse在数据处理和查询性能上表现优异，尤其适用于大数据量的实时分析场景。

Java开发中除了使用spring框架进行数据库连接，又是后也需要手写数据库连接，那么这里提供一种通用数据库连接方式，支持配置mysql orale DM ，pg等。二、DatabaseManager。

我们查询数据库表的信息，一般都使用界面化的连接工具查看，很少使用SQL语句去查，而且不同的数据库SQL语句又各自有差异。但如果通过代码去获取数据库表的信息，这时就需要通过SQL语句去查了，这个在逆向代码生成工具中经常有使用。4、 postgressql查询表字段信息。3、postgressql查询表信息。二、通过SQL对表信息进行查询。2、mysql产线表字段的信息。6、oracle查询表字段信息。1、mysql查询表的信息。5、oracle查询表信息。

原始数据层（Raw Data Layer）：这是数仓中最底层的层级，用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的，包括来自数据库、日志文件、传感器等的数据。原始数据层的目的是保留数据的完整性和可追溯性，以备后续的数据处理和分析。数据清洗层（Data Cleansing Layer）：该层对原始数据进行清洗、去重、转换和标准化等处理。在这一层中，数据质量和一致性是关键考虑因素。清洗后的数据可以更好地支持后续的数据分析和建模。集成层（Integration Layer）：这一层是将来自

最近在运维系统，系统对客端突然报了403错误，从后台看发现了大量的慢SQL，导致查询超时，仔细分析我从来没见过那么厚颜无耻的SQL，一条SQL语句关联了一个大表（6000数据）查询了10次。我也很少见过一个SQL语句写了500多行。将一个很大的任务放在一个SQL里计算。以前能跑得起来是因为数据量少，现在表的数据量增加到6000万。性能急剧下降。

博主的系统既有 用到MySQL 也有用到PostgreSQL ，之所以用到这两种数据库，主要是现在都是国产替代，虽然说这两款数据库也不是国产的，但是相对开源，oracle是不让用了。所以现在使用比较多的就是这两个关系型数据库PostgreSQL 与MySQL。那么什么情况下选择PostgreSQL ，什么情况下选择 MySQL呢。说句实话在这两种数据库选型时，我们的系统没做选型，就按照以前的服务使用了什么数据库，后面项目的演进就选择什么数据库。实在没办法，在公司不是我一个人说的算，哈哈哈。本节

记录一些日常系统运维的命令和语句

clickhouse天天触发磁盘使用率过高告警，所以需要进行排查，故将排查记录一下。

在mysql上定义了存储过程，然后我想每1分钟调用一次存储过程。于是我设置了一个event，但是这个事件默认的运行周期为天，我尝试修改成minute却不生效。所以我决定通过java代码来调用存储过程。

本次查询是在未知如何分库分表的情况下，对表数据进行查询，其中有的字段为JSON结构。需要提取JSON中某个字段的内容。

从CK到一部分数据到mysql，需要从生产环境ck数据库导数据到mysql，数据量大约100w条记录。

记一次mysql函数使用，要求给一个字段进行拼接，然后MD5加密，再转换成大写。这里都是有现成的函数，所以记录下来

在平时的web系统开发中，数据库是必不可少的一部分，没有了数据库，程序处理的数据就不知如何更好安放。然而数据库没有很好的设计，使用起来也是很不好用的。本节就介绍一下数据库得到基础知识和设计原则。

计算机在完成了硬件和操作系统的构建后，最重要的一件事情就是要处理数据。在现代意义的数据库出现之前(20世纪60年代)，人们通过人工和文件系统的方式来存储、管理数据。在人工管理时期，人们常使用穿孔纸带来管理数据 ，虽然穿孔纸带因不具备电子化特征、但这也算计算机计算过程中最早的数据库。

JAVA的开发离不开数据库的支持，常见的有关系型数据库和非关系型数据库。java除了处理不依赖与数据库的通信技术。很多的java项目或者应用程序都需要建立在数据库的基础上。所以java开发早已经不是单纯的java开发，更多的是基于对数据的处理，比如对数据的增删查改等操作。常见的数据库包括mysql 、oracle、postgreSql、达梦、serverSQL等。这类数据库成为关系型数据库，它们的逻辑存储模型为二维表的集合。还有一些非关系型数据库，它们是相对关系型数据库而言的，如：HBASE、mongodb

需求背景：mysql数据库中有一个表的数据（600多万）有一个字段的内容需要解密再通过另外一种加密方式进行加密再回存。通过java程序计算完成更新。

今天测试一批日志数据插入数据库，发现通过BaseMapper的int insert(T entity);方法在大量数据进行插入的时候插入的数据变成了未提交。意思就是程序运行insert成功，但是数据库里却没有数据。当一条一条数据插入的时候却是可以的，循环快速插入却不生效。不知道为何。

在项目开发中，有时候需要手动处理一下数据库表的数据。涉及到数据得到备份、恢复，清洗，计算，合并等操作。举例记录一下最近对数据的一些处理过程。

Mysql是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 关系型数据库(Relational Database Management System：关系数据库管理系统)应用软件之一。mysql在问开发中，几乎必不可少，因为其他的可能是要收费的，所以mysql变成了首选。