大数据最全大数据核心技术（程序员月入5000小技巧），转疯了

最新推荐文章于 2024-08-25 23:50:29 发布

2401_84182271

最新推荐文章于 2024-08-25 23:50:29 发布

阅读量798

点赞数 15

分类专栏：程序员文章标签：大数据

本文链接：https://blog.csdn.net/2401_84182271/article/details/138518849

版权

138 篇文章 1 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

MapReduce的Task的执行单元是进程，Spark的Task执行单元是线程

3.什么是结构化数据，什么是非结构化数据？

传统的关系数据库里存放的内容就是结构化数据，而图片、音频、视频、文档等以普通文件形式存放的数据，就是非结构化数据

4.spark特点

运行速度迅速，容易上手开发，超强的通用性，集成Hadoop，极高的活跃度、

5.spark用途

数据分析通过对多种组件的综合应用，Spark 可支持数据建模师进行数据分析任务。路径上，Spark 可借助 Python, Scala 接口支持数据交互。

高频操作基于迭代计算框架，Spark 可高效地处理大规模任务，所获取的效益与数据读取量成正比。

实时统计在面对实时处理中小规模的数据体量时，可选择 Spark 来分析统计数据流的具体信息。

机器学习 Spark 提供机器学习库 Mllib 和机器学习 API，开发人员可以在大规模数据集执行分类、回归、聚类等任务。

架构及生态：

通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下：

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。
Spark Streaming：对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据
MLlib：一个常用机器学习算法库，算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法，比如分类、回归等需要对大量数据集进行迭代的操作。
GraphX：控制图、并行图操作和计算的一组算法和工具的集合。GraphX扩展了RDD API，包含控制图、创建子图、访问路径上所有顶点的操作
Spark架构的组成图如下：

Spark与hadoop:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

关注