【大数据数据应用】，2024年最新阿里P7大牛整理

最新推荐文章于 2025-01-25 22:28:53 发布

2401_84181626

最新推荐文章于 2025-01-25 22:28:53 发布

阅读量586

点赞数 16

分类专栏： 2024年程序员学习文章标签：大数据

本文链接：https://blog.csdn.net/2401_84181626/article/details/137888035

版权

2024年程序员学习专栏收录该内容

78 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

数据量大（Volume）：非结构化数据的超大规模和增长，导致数据集合的规模不断扩大，数据单位已从GB到TB再到PB，甚至开始以EB和ZB来计数。
类型繁多（Variety）：大数据的类型不仅包括网络日志、音频、视频、图片、地理位置信息等结构化数据，还包括半结构化数据甚至使非结构化数据，具有异构型和多样性的特点。
价值密度低（Value）：大数据本身存在较大的潜在价值，但由于大数据的数据量大，其价值往往呈现稀疏性的特点。虽然单位价值数据的价值密度在不断降低，但是数据的整体价值在提高。
速度快时效高（Velocity）：要求大数据的处理速度快，时效性高，需要实时分析而非批量式分析，数据的输入、处理和分析连贯性的处理。
结构化数据和非结构化数据：
结构化数据：指关系模型数据，即以关系数据库表形式管理的数据，结合到典型场景中更容易理解，比如企业ERP、OA、HR里的数据。
非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种形式的图片、视频等。
半结构化数据：指非关系模型的、有基本固定结构模式的数据。例如日志文件、XML文档、JSON文档、E-mail等。
Hadoop生态圈：

我们通常说到的hadoop包括两个部分，一是Hadoop核心技术（或者说狭义上的hadoop），对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。其中hdfs用来储存海量数据，mapreduce用来对海量数据进行计算，yarn是一个通用的资源调度框架（是在hadoop2.0中产生的）。

另一部分指广义的，广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hbase、hive、spack、pig、zookeeper、kafka、flume、phoenix、sqoop等。

生态圈中的这些组件或产品相互之间会有依赖，但又各自独立。比如habse和kafka会依赖zookeeper，hive会依赖mapreduce。