最新【clickhouse专栏】数据库、数据仓库之间的区别与联系，2024年最新程序员如何自我学习和成长

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

• OLAP（On-Line Analytical Processing）联机分析处理：面向的应用主要是执行复杂的数据分析操作，侧重于决策支撑，通过图形报表展现直观易动的数据分析结果。对于响应时间的要求相对宽松，数据分析过程通常不支持用户高并发，但数据分析的结果支持用户的高并发访问。OLAP面向的通常是批量数据操作，数据按批次进行导入、分析等操作，OLAP系统通常结合ETL(抽取（extract）、转换（transform）、加载（load）)系统进行使用。

理解上面的两个数据，剩下的就简单多了，数据库通常面向OLTP操作，数据仓库通常面向OLAP操作。OLTP侧重于保存及变更数据的当前状态，而数据仓库侧重于保存数据的历史存档。比如：用户银行转账，OLTP数据库侧重于管理用户当前账户里的剩余金额，和转账过程对方账户金额入账的数据一致性；而OLAP数据仓库侧重于记录谁进行了转账、转了多少钱、钱转到了哪里。历史上该用户习惯在什么时间转账，月初还是月末？一个月转账几次？

二、数据仓库的特点

---

下面的是数据仓库的几个典型特点：

• 关注于记录数据变化的过程，而不是数据当前的状态。

• 读多写少

• 大宽表

• 数据批量操作，不更新或很少更新

• 不支持事务

有的工作经验相对少的朋友看了这几条会说：“这哪是什么特点，这都是缺点啊！” 。不更新或很少更新，读多写少都是场景限制，大宽表破坏数据库设计范式，不支持事务那还叫什么数据库？其实不然，在OLAP的场景下，这些恰恰是它为了保障数据分析的性能所进行特殊设计的特点。我给大家举几个例子：

• 比如：某云厂商按周期采集服务器的运行指标，比如：内存使用率、CPU使用率等等。这些指标都是批量采集、批量入库的，一旦入库就不会再去修改。通常也不会将内存指标建立一张表、CPU使用率建一张表，而是对于同一机房的服务器建一张表，这张表以时间维度包含各种指标。比如：查询内存使用率>80,CPU使用率>70的服务器的时候，就不会两表关联查询了，查询一张宽表就可以了，数据分析的性能飞跃式提升。不支持事务，通常OLAP系统不支持事务，因为事务会在一定程度上影响数据操作的性能。数据入库之后，需要针对这些指标不断地进行分析、挖掘，即：读多写少，基本上就批量写一次后续都是读数据操作。

• 又比如：股票实时交易数据，关注于记录数据变化的过程，而不是数据当前的状态。所有股票的所有历史数据一旦进入数据仓库之后，就不会发生修改。可以进行股票量化交易分析。

• 又比如：用户商品点击量数据、用户操作行为数据、用户网页浏览时长数据等等，这些数据都是对用户进行分析所需要的数据，一旦入库不会修改。可以进行用户买卖意愿行为分析。

其实还有很多这种类型的数据，这种数据的特点就是：数据量大、产生之后不会发生变化（那一个时间刻度的数据就不会发生变化）。因此，数据仓库通常面向的是吞吐量大的历史数据进行存档、不会在做更新删除操作的这种数据场景，数据存档之后通常只面向数据查询分析。

三、数据库与数据仓库结合使用

---

通常一个较大型的应用服务系统，既有数据库，也有数据仓库。数据库面向用户进行联机事务处理，处理用户界面的实时操作。数据仓库的数据面向决策管理层，提供数据及图形报表，提供变化多样的数据分析决策。上图是一个典型的数据库与数据仓库同时存在的应用服务场景

• 互联网用户通过应用服务产生用户行为，对数据库进行OLTP操作

• 应用服务把用户的操作的行为发送给消息队列，消息队列将数据导入数据仓库

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取