既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
(1)HBase是一个适用于非结构化数据存储的数据库,是基于列的模式,为了方便读写用户的大数据内容。
(2)表大:一个表可以有数亿行,上百万列。
(3)无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态增加,同一个表中的不同行的可以有截然不同的列。
(4)稀疏:空(null)列并不占用空间,表可以设计的非常稀疏。
(5)数据类型单一:HBase中的数据都是字符串,没有类型。
4**、Hive的特点**
Hive实质是一款基于HDFS的MapReduce计算框架
(1)针对海量数据的高性能查询和分析系统
(2)可扩展: Hive 可以自由扩展集群的规模,一般情况下不需要重启服务。
(3)延展性: Hive 支持用户自定义函数,用户可以根据自己的需求来实现自定义的函数。
(4)容错性: 良好的容错性,即使节点出现问题 SQL 仍可完成执行。
第二周3月4日
1.数据仓库定义
数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。
2.数据仓库基本特性
(1) 面向主题性
(2) 数据集成性
(3) 数据的时变性
(4) 数据的非易失性
3.数据仓库的基本分层
(1) 源数据ODS
(2) 数据仓库DWD和DWS
(3) 数据应用ADS
4.数据仓库分层的原因
(1)空间换时间
通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量的冗余数据;
(2)增强扩展性
不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大;
(3)分层管理
数据分层管理可以简化数据清洗的过程,因为把原来的一步工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样我们比较容易保证每一个步骤的正确性,当数据发生错误时,往往我们只需要局部调整某个步骤即可。
5.数据仓库分层的好处
(1)清晰数据结构
每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。简单来说,最终给业务呈现的是一个能直接使用业务表,但是它的来源有很多,如果有一张来源表出问题,能够快速准确地定位到问题,并清楚它的危害范围。
(2)把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的部分,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。
(3)减少重复开发
开发一些通用的中间层数据,能够减少极大的重复计算。
(4)屏蔽原始数据的异常
屏蔽业务的影响,不必改一次业务就需要重新接入数据
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
bbs.csdn.net/topics/618545628)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!