2024年最全大数据存储与访问(2)，2024年最新9次大数据开发面试经验总结

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

4**、Hive的特点**

Hive实质是一款基于HDFS的MapReduce计算框架

（1）针对海量数据的高性能查询和分析系统

（2）可扩展: Hive 可以自由扩展集群的规模，一般情况下不需要重启服务。

（3）延展性: Hive 支持用户自定义函数，用户可以根据自己的需求来实现自定义的函数。

（4）容错性: 良好的容错性，即使节点出现问题 SQL 仍可完成执行。

第二周3月4日

1.数据仓库定义

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

2.数据仓库基本特性

（1） 面向主题性

（2） 数据集成性

（3） 数据的时变性

（4） 数据的非易失性

3.数据仓库的基本分层

(1) 源数据ODS

(2) 数据仓库DWD和DWS

(3) 数据应用ADS

4.数据仓库分层的原因

(1)空间换时间

通过大量的预处理来提升应用系统的用户体验(效率)，因此数据仓库会存在大量的冗余数据；

(2)增强扩展性

不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大；
(3)分层管理

数据分层管理可以简化数据清洗的过程，因为把原来的一步工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误时，往往我们只需要局部调整某个步骤即可。

5.数据仓库分层的好处

(1)清晰数据结构

每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。简单来说，最终给业务呈现的是一个能直接使用业务表，但是它的来源有很多，如果有一张来源表出问题，能够快速准确地定位到问题，并清楚它的危害范围。

(2)把复杂问题简单化

将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的部分，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。

(3)减少重复开发

开发一些通用的中间层数据，能够减少极大的重复计算。

(4)屏蔽原始数据的异常

屏蔽业务的影响，不必改一次业务就需要重新接入数据

6.数据仓库和数据库的区别

(1)数据库通常服务于业务，数据仓库通常服务于分析。

(2) 数据来源不同。数据库来自各种业务系统软件产生的数据，或者是由这些业务系统交互的用户产生的数据。数据仓库直接是这些业务系统的一个或者多个数据库或者文件。

(3)数据存放有差别

数据库：数据库在设计的时候很少存放历史数据，通常只是描述某一个业务时刻的数据，随着业务系统的变化而变。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取