![](https://img-blog.csdnimg.cn/a1d7bbe2874c448a8624d0358abbb75e.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
文章平均质量分 51
Spark
Called_Kingsley
想当摄影师的一个大数据工程师
展开
-
Spark Container killed by YARN for exceeding memory limits. 11.1 GB of 11 GB physical memory used
公司 SparkSql运行出现问题 同事要求帮忙排查下原因日志:19-10-2021 10:12:06 CST SPARK_SQL-1632390310963 INFO - SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.19-10-2021 10:12:06 CST SPARK_SQL-1632390310963 INFO - SLF4J: Actual binding is of typ原创 2021-10-21 16:43:04 · 1337 阅读 · 0 评论 -
RDD 的概念和五大特性理解
RDD 概念A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,partitioned collection of elements that can be operated on in parallel. RDD 是一个弹性分布式数据集 DataSet;是一个抽象类;表示一个可以进行并行操作的元素的不可变集合。DataSet 可以理解成一个集合,集合原创 2020-11-01 11:36:05 · 1557 阅读 · 0 评论