sc179的博客

原创 维、维度、维度表和事实表

目录0 来自知乎的一个简单解释1 维2 维度3 维度表4 事实表5 星型模式结构示意图0 来自知乎的一个简单解释1 维维是关于一个组织想要记录的视角或观点。2 维度维度是对数据进行分析时采取的一个角度。比如分析产品销售情况，可以按类别来分析，也可以按区域来分析，于是类别和区域就是构成了两个维度；每个维度可以有子维度（维度的属性）；3 维度表维度表是对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息；维度表和事实表通过主键和外键联系在一起，形成星型，也称为“星型模式”；对

原创 无线客户端的日志采集

目录0 概述1 页面事件2 控件点击及其他事件3 特殊场景4 H5 & Native 日志统一5 设备标识6 日志传输0 概述无线客户端的数据采集，一是为了协助开发者分析各类设备信息，二是为了帮助各APP更好地了解用户在APP上的各类行为，从而优化APP；无线客户端的日志采集使用采集SDK来完成，在阿里，使用名为UserTrack（UT）的SDK来完成无线客户端的日志采集；日志采集根据不同的用户行为分成不同的事件，“事件”是无线客户端日志行为的最小单位；事件一般分为页面事件和控件点击事件

原创 浏览器的页面日志采集

目录1 概述1.1 页面浏览日志采集1.2 页面交互日志采集2 页面浏览日志采集流程2.1 页面访问过程3 页面交互日志采集流程1 概述浏览器的页面日志采集分两大类：页面浏览日志采集、页面交互日志采集。1.1 页面浏览日志采集页面浏览日志采集指采集当一个页面被浏览器加载呈现时的日志；此类日志时最基础的互联网日志，也是当前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（Unique Visitors，UV）的统计基础；页面浏览日志时目前成熟度和完备度最高，同时也是最

原创 大数据系统体系架构（含图示）

目录1 大数据体系架构图2 数据采集层3 数据计算层4 数据服务层5 数据应用层1 大数据体系架构图2 数据采集层阿里的的日志采集包括两大体系： Aplus.JS是Web端的日志采集技术方案，UserTrack是APP端的日志采集技术方案；在采集技术基础上，阿里用面向各个场景的埋点规范，来满足通用浏览、点击、特殊交互、APP事件、H5及APP里的H5和Native日志数据打通等多种业务场景；同时建立了一套高性能、高可靠性的数据传输体系，完成数据从生产业务端到大数据系统的传输；在传输方面，采用

原创 数据仓库的概念、特点与组成

目录1 概念2 特点3 体系结构3.1 数据源3.2 数据的存储与管理3.3 前端工具1 概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合；它是出于分析性报告和决策支持目的而创建；为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制；2 特点面向主题：数据库中的数据面向事务进行组织，而数据仓库中的数据

原创 MySQL优化

目录1 SQL 语句优化1.1 查询优化1.2 limit 优化2 数据库设计优化3 数据库参数配置1 SQL 语句优化1.1 查询优化先开启慢查询日志：set global slow_query_log = on # 开启慢查询日志，默认是关闭的set global long_qurey_time=0.5 # 设置慢查询时间阈值，单位：秒定位慢查询语句；explain 进行分析，相应字段：id：id 值越大，越先执行。无子查询时，id=1；type：NULL，执行时甚

原创 MySQL架构

1 MySQL基本架构简单来说MySQL主要分为Server层和存储引擎层。1.1 Server层主要包括连接器、查询缓存、分析器、优化器、执行器等；所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图、函数等，还有一个通用的日志模块binglog日志模块；1.2 存储引擎层主要负责数据的存储和读取，采用可以替换的插件式架构，支持InnoDB、MyISAM、Memory等多个存储引擎，其中InnoDB有自有的日志模块redolog模块；目前最常用的存储引擎是InnoDB，它从M

原创 写给宿舍以及对面宿舍的春联

原创 2021年1月5日

原创 2021年1月4日

原创 MySQL事务隔离级别的实现

目录1 多版本并发控制1.1 Undo 日志1.2 快照读与当前读2 MySQL 中事务隔离级别的实现2.1 可串行化（SERIALIZABLE）2.2 提交读（READ COMMITTED） 和可重复读（REPEATABLE READ）2.3 未提交读（READ UNCOMMITTED）3 Next-Key Locks3.1 Record Locks3.2 Gap Locks3.3 Next-Key Locks3.4 关于 Next-Key Locks 的几个问题1 多版本并发控制多版本并发控制（Mu

原创 MySQL锁机制

目录1 数据库锁的分类2 行级锁、表级锁、页级锁2.1 行级锁2.2 表级锁2.3 页级锁3 共享锁和排他锁3.1 共享锁(S)3.2 排他锁(X)4 意向锁4.1 意向共享锁（IS）4.2 意向排他锁（IX）5 悲观锁和乐观锁5.1 悲观锁5.2 乐观锁1 数据库锁的分类1 按照锁的粒度划分表级锁行级锁页级锁2 按照锁的级别划分共享锁排它锁3 按照使用方式划分乐观锁悲观锁2 行级锁、表级锁、页级锁2.1 行级锁简介：是MySQL中锁定粒度最细的一种锁；只针对当

原创 LeetCode_Database

1 大的国家问题描述+-----------------+------------+------------+--------------+---------------+| name | continent | area | population | gdp |+-----------------+------------+------------+--------------+---------------+| Afghanistan

原创 2021年1月2日