![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
icankeep
优雅程序猿
展开
-
Spark线上问题引发的思考
Spark线上问题引发的思考先来简单介绍一下背景:我们使用的是公司搭建的Jupyter平台,打通了公司内部的Hadoop和Spark整套体系,用户可以使用Jupyter完成数据分析场景、算法场景(模型训练和预测)的全流程。但是最近突然有个别用户无法启动Spark,Spark在很长时间的pending资源过后,报错org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or原创 2020-11-22 20:05:59 · 335 阅读 · 1 评论 -
windows使用命令行启动pyspark报错
安装Hadoophttps://www.cnblogs.com/chevin/p/9090683.html安装Sparkhttps://www.cnblogs.com/chevin/p/11064854.html这里有一个坑,一开始电脑用的是3.8的python,然后命令行启动pyspark一直报错,如下图无法正确初始化Spark和SparkContextTraceback (most recent call last):File “D:\spark-2.4.5-bin-hadoop2.7\原创 2020-05-09 15:05:45 · 2424 阅读 · 2 评论