2301_76522810的博客

原创 模型表主题划分

核心定位：存储银行所有产品的信息，包括存款产品、贷款产品、理财产品等 | 表名 | 表类型 | 说明 | |------|--------|------| | 存款产品信息表 | 维度表 | 存款产品的信息 | | 贷款产品信息表 | 维度表 | 贷款产品的信息 | | 理财产品信息表 | 维度表 | 理财产品的信息 | | 基金产品信息表 | 维度表 | 基金产品的信息 | | 信用卡产品信息表 | 维度表 | 信用卡产品的信息 |银行数仓主题域划分结果。9. 风险管理主题域。11. 信用卡主题域。

原创 银行模型表划分主题域

核心定位：存储银行所有产品的信息，包括存款产品、贷款产品、理财产品等 | 表名 | 表类型 | 说明 | |------|--------|------| | 存款产品信息表 | 维度表 | 存款产品的信息 | | 贷款产品信息表 | 维度表 | 贷款产品的信息 | | 理财产品信息表 | 维度表 | 理财产品的信息 | | 基金产品信息表 | 维度表 | 基金产品的信息 | | 信用卡产品信息表 | 维度表 | 信用卡产品的信息 |银行数仓主题域划分结果。9. 风险管理主题域。11. 信用卡主题域。

原创 银行/信贷业务测试工作中涉及的数据库表格

贷前阶段 客户申请表 记录客户基本信息、贷款目的、贷款金额、贷款期限等初始申请信息。贷中阶段 放款申请表 记录贷款发放的具体信息，如发放日期、金额、贷款账号等。贷款重组/展期表 记录贷款重组或展期的相关信息，包括新条款、批准情况等。交易明细表 记录贷款账户的所有交易活动，包括放款、还款、利息计算等。利率调整表 记录贷款利率的调整历史，包括调整日期、新利率等。贷款核销表 对于无法收回的贷款，记录核销的原因、批准文件等。

原创 hive锁机制

Hive的锁机制主要包括共享锁（Shared, S）和互斥锁（Exclusive, X），用于管理并发读写操作，确保数据的一致性和完整性。通过以上机制和配置，可以有效地管理和解决Hive中的锁问题，确保数据仓库的高效运行。

原创 事务隔离级别

综上所述，脏读、不可重复读和幻读是数据库事务并发操作中的三种异常现象，它们在数据操作、影响范围和解决方法上有所不同。通过合理设置事务隔离级别，可以有效避免这些问题。

原创 信贷系统明细层表来源及字段

表来源DWS层表交易域借款指标表放款指标表还款指标表逾期指标表催收域催收指标表授信域授信指标表额度指标表风控指标表信贷模型层表公共主题域贷款产品表在数仓建模实践中，模型层的表（如贷款产品表）数据一般来源于原始数据层（或ODS层）的相关业务系统表，可能包括信贷系统的贷款产品基本信息表、产品参数配置表、产品条款表等，也可能涉及其他关联系统的数据（如产品管理系统的产品分类表）。若需准确信息，需参考具体的数仓设计文档或数据血缘关系说明。 贷款产品ID主键 贷款产品名称如“个人住房贷款

原创 信贷系统模型层表字段

描述属性 渠道描述（Channel_Description）、所属区域（Region）、负责人（Contact_Person）时间属性 渠道启用日期（Start_Date）、渠道失效日期（End_Date）、最后更新时间（Last_Update_Time）状态属性 渠道状态（Active/Inactive，Channel_Status）关联属性 所属机构ID（Institution_ID，若涉及合作机构）、上级渠道ID（Parent_Channel_ID，支持层级结构）

原创 信贷系统模型表

搜索结果主要围绕贷款分析的全流程（包括客户信息收集、需求分析、风险评估、审批、放款及贷后管理等步骤）1以及数据仓库（数仓）的分层架构（如ODS层、DWD层、DWM层、DWS层）和表、字段的命名规范2展开，但未涉及信贷贷后检查信息表的具体数据来源表。搜索结果主要围绕贷款分析的全流程（包括客户信息收集、需求分析、风险评估、审批、放款及贷后管理等步骤）1以及数据仓库（数仓）的分层架构（如ODS层、DWD层、DWM层、DWS层）和表、字段的命名规范2展开，但未涉及信贷贷后检查信息表的具体数据来源表。

原创 银行信贷业务

业务总线矩阵dim层核心系统存款业务。

原创 银行架构及业务

原创 Flink的Checkpoint原理和流程

JobManager定时触发Checkpoint，通过CheckpointCoordinator向所有Source节点发送触发信号，Source节点向下游广播CheckpointBarrier。下游Task只有在收到所有Input的Barrier后才会执行相应的Checkpoint操作。Task完成状态备份后，会将备份数据的地址（stateHandle）通知给CheckpointCoordinator。Flink的Checkpoint是一种容错恢复机制，用于保证实时程序在遇到异常或机器问题时能够自我恢复。

原创 银行数仓知识点

银行场景示例：客户表（customer_id）与理财产品表（product_id）通过“客户-产品购买记录表”（存储customer_id和product_id作为复合主键）关联，表示一个客户可购买多个产品，一个产品可被多个客户购买。客户表（customer_id）与理财产品表（product_id）通过“客户-产品购买记录表”（存储customer_id和product_id作为复合主键）关联，表示一个客户可购买多个产品，一个产品可被多个客户购买。

原创 索引面试题

原创 银行8大主题

原创 flink调优

原创 linux基础命令

root@linux-server ~]# find /var/cache/yum/ -name "*.rpm" #查找/var/cache/yum下以.rpm结尾的文件。[root@qfedu.com ~]# find / -size -3M -a -name "*.txt" #查找/下面小于3M而且名字是以.txt结尾的文件。[root@qfedu.com ~]# find / -size -1M -o -size +8M #查找/下面小于1M或者大于8M的文件 -o:or。

原创 正则表达式元字符-详细说明

95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。序列"\\\\"匹配"\\"，"\\("匹配"("。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。例如，"zo+"与"zo"和"zoo"匹配，但与"z"不匹配。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。

原创 subline 快捷键大全

举个栗子：1、输入当前项目中的文件名，快速搜索文件，2、输入@和关键字，查找文件中函数名，3、输入：和数字，跳转到文件中该行代码，4、输入#和关键字，查找变量名。Ctrl+shift+F 在文件夹内查找，与普通编辑器不同的地方是sublime允许添加多个文件夹进行查找，略高端，未研究。Ctrl+Shift+Enter 在上一行插入新行。Ctrl+Shift+L 先选中多行，再按下快捷键，会在每行行尾插入光标，即可同时编辑这些行。Ctrl+： 打开搜索框，自动带#，输入关键字，查找文件中的变量名、属性名等。

原创 flume

第 1 章 Flume 概述 1.1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 为什么选用Flume Python爬虫数据 Java后台日志数据 服务器本地磁盘 文件夹 HDFS Flume Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 Kafka 网络端口数据 1.2 Flume 基础架构

原创 银行十大主题域

它可以记录的范围非常广泛，可以记录各种与银行相关的活动的详细情况，包括交易数据，比如存款、提款、付款、收取信用卡年费、计算利息和费用、投诉、查询产品、查询地址、查询余额、网上交易等。银行是一个企业，同时也是一个机构，涉及企业机构就会有资产，财务的存在，银行有自己的产品（信用卡，黄金，期货等）有产品就需要有人进行买卖，买卖的人这就是当事人，进行的买卖就是销售，有销售就得有渠道（不管是线上还是线下），在进行买卖，存贷款的时候需要签合同，这就是协议，整体这个交易就是事件，从而对银行的财务，资产产生影响。

原创 银行数仓建模方法论

在设计数据模型时，需要综合考虑业务需求、数据结构、数据流程和数据质量等因素，并遵循规范化、抽象层次和可扩展性等原则。在数据建模流程方面，需要经过需求分析、概念建模、逻辑建模、物理建模、模型实现和模型优化等阶段。通过科学合理的数据模型设计和建模流程，可以帮助银行更好地管理和利用其海量数据，提高其业务水平和竞争力。在前面的文章中，我们介绍了银行数据仓库体系的基础知识，本篇文章将重点介绍银行数据仓库体系实践（7）—数据模型设计及流程。数据模型设计是银行数据仓库体系的核心，它是对银行业务进行抽象和概括的过程。

原创 数仓null注意事项

原创 MySQL jdbc,事务,连接池

JDBC（Java DataBase Connectivity,java数据库连接技术）是一种用于执行SQL语句的Java API。JDBC是Java访问数据库的标准规范，可以为不同的关系型数据库提供统一访问，它由一组用Java语言编写的接口和类组成。JDBC需要连接驱动，驱动是两个设备要进行通信，满足一定通信数据格式，数据格式由设备提供商规定，设备提供商为设备提供驱动软件，通过软件可以与该设备进行通信。JDBC与数据库驱动的关系：接口与实现的关系。

原创 MySQL 约束,视图,索引及常见函数

为什么要学索引​ 如果新华字典没有汉语拼音、偏旁部首目录，你如何查找某个汉字？​ 一页一页翻找，效率低​ 如果带着汉语拼音、偏旁部首目录，你如何查找？​ 先看汉语拼音目录，找到汉字对应的页数，直接找对应页码即可。利用索引检索，效率高索引是什么​ Mysql官方对索引的定义是：索引（Index）是帮助Mysql高效获取数据的数据结构。​ 提取句子主干就是：索引是数据结构。索引的目的​ 索引的目的在于提高查询或检索效率。（拿空间换时间）索引的优势​ 提高数据检索效率，降低数据库IO成本。

原创 hive 知识总结

1 hive介绍与原理分析Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL（hiveSQL）语句作为数据访问接口。1.1 hive的优缺点1）Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容，大大降低了传统数据分析人员处理大数据的难度2）使用JDBC 接口，开发人员更易开发应用；

原创 spark 算子考点

原创 spark 精华总结

在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝。Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没。有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行。为基础，提供数据的流式计算功能。

原创 linux命令总结

原创 linux 文本编辑命令总结

原创 数仓建模理论

原创 svn 详解

原创 linux 精华总结

原创 kafka 总结宝典

原创 control-m调度

原创 一张图搞定大数据面试

原创 书写高质量sql的方法

原创 21个写sql 的好习惯

原创 hadoop 自己的部署

hadoop关闭：只需要在主节点master关闭！hadoop启动：只需要在主节点master启动！【hive】只需要在主节点mastetr任意路径执行。【mysql】只需要在主节点master启动！hadoop pi 计算示例。启动 hiveserver2。所有基础都在启动hadoop以后。密码：123@Hhhh。启动metastore。进入hive命令窗口。

原创 sqoop 详解

Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。导出数据：从hadoop的文件系统中导出数据到关系型数据库中。

原创 hadoop集群报错问题