![](https://img-blog.csdnimg.cn/33131ee286774b7d910d54e98acf48fc.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
记录学习Spark的过程和遇到的问题!
木易巷
现在是小小白,以后一定会是大大白~
展开
-
spark精度丢失,导致列查询为null的解决办法
spark.sql.decimalOperations.allowPrecisionLoss 在默认情况下配置为:true原创 2022-11-29 11:59:35 · 1618 阅读 · 0 评论 -
Spark的一些问题汇总 及 Yarn与Spark架构的对比
1、集群资源管理者(Master):ResourceManger(RM)2、单任务执行者(Worker):Task(容器内计算框架的工作角色)1、单任务管理者(Master):ApplicationMaster。2、单机资源管理者(Worker):NodeManger。2、单任务执行计算者:Executor (干活的)1、集群资源管理者:Master。2、单机资源管理者:Worker。1、单任务管理者:Driver。原创 2022-11-05 23:04:11 · 1288 阅读 · 1 评论 -
Spark基础 之 Spark的介绍
Spark是一个分布式计算框架,是由Scala语言编写完成的,是apache基金会下的顶级开源项目 ,和Mapresuce的作用一样,可以完成对数据的计算。原创 2022-10-24 14:23:28 · 5920 阅读 · 0 评论