- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据库三范式3NF指什么？
在上图所示的情况中，同一个订单中可能包含不同的产品，因此主键必须是“订单号”和“产品号”联合组成，但可以发现，产品数量、产品折扣、产品价格与“订单号”和“产品号”都相关，但是订单金额和订单时间仅与“订单号”相关，与“产品号”无关，第二范式（2NF）：第二范式需要确保数据库表中的每一列都和主键相关，而不能只与主键的某一部分相关（主要针对联合主键而言）。上表中，所有属性都完全依赖于学号，所以满足第二范式，但是“班主任性别”和“班主任年龄”直接依赖的是“班主任姓名”，这样以来，就满足了第三范式的要求。
2022-08-22 11:19:20
1306
1
原创 一篇文章搞懂数据仓库：四种常见数据模型（维度模型、范式模型等）
DataVault由Hub（关键核心业务实体）、Link（关系）、Satellite（实体属性） 三部分组成 ，是Dan Linstedt发起创建的一种模型方法论，它是在ER关系模型上的衍生，同时设计的出发点也是为了实现数据的整合，并非为数据决策分析直接使用。特点：设计思路自上而下，适合上游基础数据存储，同一份数据只存储一份，没有数据冗余，方便解耦，易维护，缺点是开发周期一般比较长，维护成本高。星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，维度表再关联维度表。
2022-08-22 10:31:30
868
原创 大数据开发之Hive SQL优化思路分享
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）HQL语句优化1、使用分区剪裁、列剪裁在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。select a.*from test1 alef
2022-04-13 14:44:40
334
原创 Hive很重要的知识点，要掌握的
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive）2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED 分隔符设置开始语句FIELDS TERMINATED BY：设置字段与字段之间的分隔符COLLECTION ITEMS TERMINATED BY：设置一个复杂类型（array,struct)字段的各个
2022-03-01 16:28:45
133
原创 SQL语句性能优化
sql语句性能优化1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2，应尽量避免在 where 子句中对字段进行 null 值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默 认值。3，应尽量避免在 where 子句中使用!=或<>操作符， MySQL只有对以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE
2022-03-01 11:14:17
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人