数据库+数据仓库+大数据记录
学习数据技术的相关笔记
Cosmos Tan
无冥冥之志者,无昭昭之明。
无惛惛之事者,无赫赫之功。
展开
-
Hadoop3.2.1配置记录
一、系统:ubuntu 20.041、主要参考:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/二、遇到的问题:1、localhost:50070网页打不开解决问题:https://blog.csdn.net/xingyue0422/article/details/85316822他总结的很全面,然而网上的版本大多是2.6获2.7的。Hadoop 3.2.1的默认端口是:9870方向是错的,在怎么纠结都没有用..原创 2020-05-28 20:59:37 · 299 阅读 · 0 评论 -
标准SQL汇总
一、通用数据类型:https://www.runoob.com/sql/sql-datatypes-general.html二、常用函数:https://www.runoob.com/sql/sql-function.htmlSQL Aggregate 函数SQL Aggregate 函数计算从列中取得的值,返回一个单一的值。有用的 Aggregate 函数:AVG() -...原创 2020-05-05 18:35:36 · 454 阅读 · 0 评论 -
IFNULL函数
IFNULL函数用于在MySQL中将NULL值替换为另外一个值。MS SQL Server中的 ISNULL 函数Oracle中的 NVL 函数类似Teredata中的COALESCE是返回表达式的第一个非空值的语句。 如果表达式的所有参数计算结果为NULL,则返回NULL...原创 2020-05-05 15:22:58 · 410 阅读 · 0 评论 -
11数据仓库相关的基本概念
一、相关概念:1、数据仓库的定义和特点:2、数据集市:3、数据粒度与分割:4、元数据:技术元数据+业务元数据5、数据模型:星型、雪花、星网、第三范式二、数据仓库体系结构1、数据仓库的数据组织结构:2、数据仓库的系统结构:3、数据仓库的运行结构:三层C/S结构:客户端工作:格式化查询,客户交互,结果显示以及报表生成数据仓库服...原创 2020-04-09 23:39:46 · 467 阅读 · 0 评论 -
Teradata各种函数
https://blog.csdn.net/thy822/article/details/49423019https://www.cnblogs.com/toughhou/p/3793154.html原创 2020-04-09 22:24:25 · 1998 阅读 · 0 评论 -
10数据仓库设计的基本思想
学习资源:https://edu.hellobi.com/course/9一、数据仓库的历史发展1、OLTP系统:事件驱动,面向需求 特点:响应时间非常快;用户数量多;数据库各种操作都是基于索引进行随着业务的发展,OLTP无法满足对数据分析的需求2、OLAP:数据驱动,面向分析 特点:与OLTP对应3、建立数据仓库的基本条件...原创 2020-04-08 11:45:54 · 527 阅读 · 0 评论 -
03数据库基本概念之规范化和3范式
1、第一范式(1NF)1.1 数据规整为二维表格1.2注:以上两件是在建模一开始就已完成。1.3去掉多值属性1.4 去掉重复组1.5 创建主键(每一个非键值属性必须依赖主键,第一范式的核心)2、第二范式2.1概念注:在第一范式基础上;发生在联合主键中(组合键)2.2 第二范式可减少数据冗余、数据不一致,插入删除不一致...原创 2020-04-07 21:20:54 · 746 阅读 · 0 评论 -
02数据库基本概念之键、约束及NULL
1、键(Key)1.1 主键、候选键、可选键:1)、主键的特性:2)主键的设计:<1>如果不能预估未来的变化,不要使用smart key;---smart key:具有很多含义的,夹杂很多信息的长key(待定) 适用于:外接系统很少,交易单号流水型系统身份证号和目录编码慎用。<2><3>1.2 单键、复合...原创 2020-04-06 18:39:14 · 550 阅读 · 0 评论 -
01数据库基本概念之实体、属性及关系
1、实体(Entiy):1.1 对人、事 抽象化的对象。对应数据库中的表。而表中每一行数据就是实体的实例。1.2举例:注意:POS机是隐藏信息,建模时应考虑。购买意向可不需要1.3 实体分类1)按照含义:5W1H +How much2)按照含义分类 IBM3)按照Pattern分类:主实体--->强实体;子类型,属性类型、关联类型-->...原创 2020-04-06 17:38:07 · 39965 阅读 · 1 评论 -
00数据仓库建模笔记——开篇
数据仓库建模的学习:一、数据库建模基础二、经典数据仓库架构三、EDW建模四、维度建模五、数据仓库建模周期核心词: 数据模型1、概念:将数据元素以标准化的模式组织起来,用来模拟现实世界的信息框架蓝图2、建立高质量数据模型的意义:一、数据库建模基础:(一)数据建模流程1、概念模型:2、逻辑模型:3、物理模型:...原创 2020-04-01 23:45:17 · 291 阅读 · 0 评论