- 博客(124)
- 资源 (1)
- 收藏
- 关注
原创 YOLOv8原理深度解读,超级详细
本文对YOLOv8里面每个部分的每个组件都进行了详细解释,如Backbone, Neck, Head。本文同时也介绍了YOLOv8的损失函数的设计以及样本匹配的方法。
2023-04-09 17:24:17
98317
31
原创 MySQL Server 5.5 win端安装,安装SQLyog
注册码: 59adfdfe-bcb0-4762-8267-d7fccf16beda。注册码: 8d8120df-a5c3-4989-8f47-5afc79c56e7c。注册码:ec38d297-0543-4679-b098-4baadf91f983。实际登录进来的账户是localhost本机。Ultimate 版本: (终极是最好的)注册名:luoye2562。注册名:luoye2562。注册名:luoye2562。四个对号就是成功了。
2026-03-22 16:39:57
15
原创 MySQL,Oracle面试题【2】
你写过最复杂的SQL有多少行?做了什么事(实现的什么业务逻辑,用的什么函数),为什么这么长你写过最复杂的SQL有多少行?做了什么事(实现的什么业务逻辑,用的什么函数),为什么这么长。
2026-03-17 09:24:42
8
原创 Python面向对象的三大特性:封装、继承、多态
把数据(属性)和操作(方法)包装在一个类里,并通过访问控制(公有、私有)保护内部细节,只暴露必要的接口。
2026-02-28 11:30:07
300
原创 数仓中的数据建模方法:关系建模、维度建模
建模方法别名/核心规范程度核心特点在银行数仓中的典型位置ER建模关系建模、三范式高 (3NF)数据高度一致,冗余低,表多关联多ODS层、传统数仓核心层维度建模星型/雪花模型低 (反范式)查询快,易于理解,适合BI分析DWD/DWS/ADS层、现代数仓主流Data Vault数据金库中高 (混合)可追踪历史,极强的业务适应性,Hub/Link/Sat结构企业级EDW层(作为中间层,连接ODS和ADS)Graph建模图数据库N/A点和边,擅长查关系风控/反欺诈专用库。
2026-02-23 20:59:41
896
原创 -3-DWS层建设
姓名以及 姓名、系名、系主任这个组合只依赖于学号这个主键,与课程名无关。毕竟,学生姓名不会因为选了什么课就跟着变吧?它要求在第一范式(1NF,即数据原子性)的基础上,确保表中的。因此把上面这一个表拆成两个表。
2026-02-05 10:49:49
111
原创 为什么银行放着好好的Oracle不用,要建设Hadoop数仓?银行建设Hadoop数仓的核心需求分析。
存储的数据量更大价格更便宜,成本更低"招行数据总量已突破,日增数据量,传统数据仓库无法承载如此规模的数据增长。(近3个月):存储在Greenplum,约5PB(3-24个月):存储在Hadoop,约30PB(24个月以上):存储在对象存储,约15PB仅。2023年平安银行数据平台数据:- 总数据量: 40PB+- 日处理数据: 200TB- 集群规模: 3000+节点(LS银行的集群规模多少个节点?- 最大单表: 客户行为表,8.7万亿行。
2026-01-31 10:33:23
94
原创 kettle安装
pdi-ce-8.2.0.0-342.zip 解压成文件夹,并更名kettle。(下一步,下一步,……安装目录不要有空格或中文名)安装jdk-8u161-windows-x64.exe……①下载JDK1.8版本到电脑本地(C盘,D盘,;③配置JDK的环境变量:分三步走?如何安装JDK并配置环境变量。kettle安装包下载。
2026-01-29 17:59:06
176
原创 数据湖简介
所以,你的感觉没错,数据湖本身并不高级。高级的是,头部银行利用这种“朴素”的存储理念,构建了一套允许自己进行“低成本、快速试错、持续创新”的数据基础设施和能力。数据湖的“高级之处”,恰恰在于它用一种朴素的方式,解决了传统数据管理在创新时代的几个核心悖论。数据湖:是 “原始数据探索与创新工厂” ,负责低成本保存全量数据,支持灵活、快速的数据探索、数据科学和。将经过清洗、建模、确认有价值的数据,加工成稳定、可靠、高性能的业务指标和报表,服务于。所以,数据湖的节省,不是靠一个神奇的“超级压缩包”,而是。
2026-01-27 21:38:42
1066
原创 VMware虚拟机无法用moba连接
但是VMware中虚拟机一旦ip修改了(不知道什么原因),因为你设置到了静态,就导致moba连接不上了。原因:你把VMware中虚拟机的ip修改成静态的了,然后moba输入这个ip连接这台虚拟机。子网那里修改成你要的段位。
2026-01-27 08:27:55
220
原创 数据仓库面试题
GaussDB(华为高斯数据库)(关系型数据库 / 企业级数据库),(分布式大数据平台)Oracle:OLTP(核心交易)+ OLAP(数据仓库),强事务。被 GaussDB 等国产数据库替代Hadoop:被 FusionInsight、星环 TDH 等国产大数据平台替代。
2026-01-24 21:42:32
870
原创 银行数仓项目 备用素材
所有银行都按照同样的表结构、数据字典、报送口径来报送数据,极大地方便了监管进行跨机构、跨地区的横向对比分析。这种“穿透式”监管,让银行的业务细节在监管机构面前几乎透明化,可以看清最终的风险承担者和底层资产。监管制定了一套覆盖银行所有主要业务领域(客户、账户、交易、产品、渠道等)的。例如,不是“总贷款余额”,而是。报送的不是汇总报表,而是。
2026-01-24 18:03:31
218
原创 Spark面试准备
PySpark需通过 Py4J 桥接 JVM,有 10%-30% 性能损耗(UDF / 大数据量下明显);优先选 Scala Spark 的场景:核心是 **“追求性能、底层开发、企业级生产环境”**
2026-01-24 16:44:38
456
原创 Spark入门知识
安装重命名为spark,mv命令)mvspark刷新配置文件:spark-env.sh.template,重命名为spark-env.sh配置如下:vi spark-env.sh192.16810.130输入:先创建slaves文件,再添加如下内容son1son2son3启动服务(hadoop):s启动服务(spark):输入即可看到如下信息:Spark Shell 中运行的 Scala 语言代码。
2026-01-23 16:49:24
833
原创 DataX将数据在MySQL和HDFS之间互相迁移
bigdata/datax 目录下面的 新建文件vim mysql_to_hdfs.json。上面这个代码是改了模板获得的。模板是下面这句话获得的。MySQL duoduo_db里面的t_roles。4.将数据从MySQL中导入到HDFS上。里面的"defaultFS": "
2026-01-21 19:17:43
956
原创 Azkaban控制脚本按顺序执行
就是把你azkaban所在位置的这个sh文件启动起来。azkaban启动的标志是下面这样。2.启动executor服务器。1.先启动haoop 集群。3.启动web服务器。
2026-01-16 11:43:04
171
原创 Hive电商数据分析项目 过程记录Raw
注意这里sqoop数据迁移 连接的MySQL地址 要仔细比照,不要用老师原有的那个ip,否则就会出现连接被拒绝访问,出现同步半天hdfs那边什么都没有的情况。(一般实际情况下,数据存在MySQL数据库中,还是一般存在hive里面?,这是这里为了做项目被迫将数据从MySQL迁移到HDFS?
2026-01-12 10:47:14
338
1
原创 Sqoop入门常用命令
【2】使用sqoop列出mysql中指定数据库duoduo_db中的所有表。如果出现下面这个报错,说明mysql的jdbc没有配置好。这实际是sqoop连接不上MySQL了。使用sqoop列出mysql中数据库。✅ 大白话解释:JDBC 是一套。/database的名字。
2026-01-11 08:17:26
260
原创 SQL我后来搞懂,不太重要的东西
2.用新创建的用户tonymin,选择数据库:orcl,并选择normal身份登录;用sys并且选择数据库:orcl, 并选择身份为sysdba登录。用有权限创建用户 的 用户 创建用户。
2025-12-16 17:48:24
197
原创 SQL之前不懂,后来又学会的东西,且很重要的
唯一约束UNIQUE:不能重复;主键PRIMARY(自带唯一索引):不能重复;主键不能为null, 一张表只能有一个主键;user_id是PRIMARY主键,不能为null,uname是UNIQUE可以为NULL但是不能重复。
2025-12-13 16:31:26
352
原创 SQL刷题笔记-我没做出来的题目
- 12.查询 1997 年 7 月以后没有借书的读者借书证号、姓名及单位。把借过书的人挑出来,不在这里的,其他剩余的留下。我当时的解题思路,没做出来。
2025-12-13 16:16:59
238
原创 Power BI可视化与数据分析指南
A120快速入门-12理解数据可视化这些圆点之间连上线什么意思?是同属一个类别吗,还是有什么联系?我看同一个颜色的怎么画了两条不同的线?是历史变动,点之前只有这一个点。ctrl+点击 得到的是这个点和之前这个子类别产品的点连在一起。为什么同一个产品类别,会有这么多点?同一个产品类别,不应该是一个点吗?同一个产品类别是同一个颜色的,比如办公用品是浅蓝,家具是橘黄同一个产品类别下的产品不同子类别形成了不同的点同一个类别只是,图例上显示的颜色不同,在每一行数据上显示的是子类别绘制的操作流程。
2025-11-29 07:25:18
634
原创 Oracle数据库笔记
去虚拟机创建表空间切换到oracle用户把下面写的这段代码扔进去创建子空间如果想修改数据库对应文件的大小和存储位置,用ALTER为表空间添加新的数据文件。
2025-06-04 21:33:07
456
原创 Linux shell练习题
2. 判断~/bigdata.txt 是否存在,若已存在则 进行删除该文件 然后打印出 ”该文件已存在,已被删除“,如不存在 则创建文件,然后输出打印:”该文件不存在,已创建“1. 判断~/bigdata.txt 是否存在,若已存在则打印出”该文件已存在“,如不存在,则输出打印:”该文件不存在“8.将 / 目录下的详细信息写入到文件 tong.log 中,然后打印该文件中的文件名和大小。9.统计~/目录下所有小于1MB的文件数量。7.计算1的阶乘到10的阶乘的累加值。
2025-06-03 10:52:56
512
原创 Apriori关联算法
支持度: 数据集中包含该项集(项集就是元素可能的组合)原始数据的条数 占原始数据的总条数 的比例。例如上图中,{豆奶} 的支持度为 4/5。{豆奶, 尿布} 的支持度为 3/5。,从图中可以看出 支持度({尿布, 葡萄酒}) = 3/5,支持度({尿布}) = 4/5,所以 {尿布} -> {葡萄酒} 的可信度 = 3/5 / 4/5 = 3/4 = 0.75。可信度:{尿布} -> {葡萄酒}这样的关联规则的可信度。Apriori---[əpriˈɔri] ---先天的,推测的。
2024-03-27 15:15:13
446
原创 SQL高级用法
table_a这个table有三个partition,一个是p_product,一个是p_model,一个是p_date,但是我只希望看p_model这一个partition里面可能的选项,应该如何写SQL查看?把首尾用区分字符 前后加 *替代,匹配到然后替换为空,这样会把三个分区的所有目前有组合的可能性都展示出来。文心一言说可以下面这样,但是在我这里用不了。然后把Excel格式的结果下载下来。
2024-03-01 09:40:55
817
原创 Excel的中高级用法
在Flink中,所有的数据都被视为流进行处理,无论是批数据还是流数据,都可以在同一个Flink集群中进行处理。我在Excel表中遇到这个问题,A1写着2022-01-01,A1向下到A15都是空的,A16写着2022-01-02,A17-A27是空的,A28写着2022-01-03, A29-A40是空的。后面还有上千行的数据都是类似情况,其中一行是有日期的,这一行以后十几行都是空的,我希望这十几行都填充上之前那一行?每个批次的数据被单独处理,处理完成后将结果进行整合,得到最终的结果。
2024-02-25 16:22:49
2145
Titanic 数据集分析
2023-11-07
79页多目标跟踪入门教程
2023-09-10
YOLOv8+目标追踪所需要用到的模型文件
2023-09-10
视频人群计数代码:YOLOv8+DeepSORT / ByteSORT / StrongSORT 目标识别+追踪+计数
2023-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅