- 博客(3)
- 收藏
- 关注
RSS订阅原创 SparkSQL详解
首先，DataFrame提供了高性能的查询和处理能力，可以直接使用SQL语句进行查询、过滤、聚合等操作，而无需编写复杂的代码。总结起来，Spark SQL是Apache Spark中用于处理结构化数据的模块，它提供了高级API和查询引擎，支持多种数据源和常见的SQL操作，同时具有优化查询和高性能的特点。总之，Spark SQL具有高性能、多数据源支持、SQL和DataFrame/DataSet抽象、可扩展性和统一的编程模型等特点，使得用户可以以统一的方式处理大规模的结构化数据。
2024-05-13 11:40:51
479
原创 修罗高手在csdn上学习spark之RDD
RDD是一个可分区、可并行处理的数据集，它是不可变的，意味着它的数据不能被修改。RDD可以从内存中的数据集、Hadoop文件系统或其他数据源中创建，可以通过转换操作（如map、filter、reduce等）来进行处理，并且可以缓存到内存中以提供更快的访问速度。转换操作可以将一个RDD转换为另一个RDD，而行动操作则触发对RDD的计算并返回结果。RDD支持常见的转换操作，如map、filter、reduce等，以及行动操作，如count、collect、save等。一：从内部中读取数据创建。
2024-04-02 23:26:08
384
原创 重生之我在CSDN学习spark
SparkSQL的前身是Shark，Shark是伯克利实验室Spark生态环境的组件之一，它修改了内存管理、物理计划、执行三个模块，并使之能运行在Spark引擎上，从而使得SQL查询的速度得到10-100倍的提升。2）在Spark中引入了RDD (Resilient Distributed Dataset) 的抽象，它是分布在一组节点中的只读对象集合，这些集合是弹性的，如果数据集一部分丢失，则可以根据“血统”对它们进行重建，保证了数据的高容错性；Spark把中间数据放到内存中，迭代运算效率高。
2024-03-04 16:12:01
1096
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人