- 博客(3)
- 收藏
- 关注
RSS订阅原创 SparkSQL详解
首先，DataFrame提供了高性能的查询和处理能力，可以直接使用SQL语句进行查询、过滤、聚合等操作，而无需编写复杂的代码。总结起来，Spark SQL是Apache Spark中用于处理结构化数据的模块，它提供了高级API和查询引擎，支持多种数据源和常见的SQL操作，同时具有优化查询和高性能的特点。总之，Spark SQL具有高性能、多数据源支持、SQL和DataFrame/DataSet抽象、可扩展性和统一的编程模型等特点，使得用户可以以统一的方式处理大规模的结构化数据。
2024-05-10 20:03:52
2586
原创 Spark之RDD
RDD是一个可分区、可并行处理的数据集，它是不可变的，意味着它的数据不能被修改。RDD可以从内存中的数据集、Hadoop文件系统或其他数据源中创建，可以通过转换操作（如map、filter、reduce等）来进行处理，并且可以缓存到内存中以提供更快的访问速度。转换操作可以将一个RDD转换为另一个RDD，而行动操作则触发对RDD的计算并返回结果。RDD支持常见的转换操作，如map、filter、reduce等，以及行动操作，如count、collect、save等。一：从内部中读取数据创建。
2024-04-02 20:03:40
401
原创 大数据开发Spark
Spark官网： http://spark.apachecn.org/docs/cn/2.2.0/index.htmlSpark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。
2024-03-04 17:17:52
1050
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人