spark
smile@qi
这个作者很懒,什么都没留下…
展开
-
spark集群无法停止
[data@lcoalhost-1 spark-2.4.0]$ ./sbin/stop-all.sh localhost-1: no org.apache.spark.deploy.worker.Worker to stop localhost-2: no org.apache.spark.deploy.worker.Worker to stop 原因分析 spark集群的停止是通过xxx.pid文件操作 查看stop-master,其中停止语句为 "${SPARK_HOME}/sbin"/spark-原创 2020-09-14 10:08:37 · 503 阅读 · 0 评论 -
Spark之集群搭建
安装条件: 1、安装jdk 2、安装hadoop集群原创 2019-03-14 10:14:11 · 258 阅读 · 0 评论 -
Spark中Python与JVM的交互
原文链接:Spark通信原理之Python与JVM的交互 我们知道Spark平台是用Scala进行开发的,但是使用Spark的时候最流行的语言却不是Java和Scala,而是Python。原因当然是因为Python写代码效率更高,但是Scala是跑在JVM之上的,JVM和Python之间又是如何进行交互的呢? 在实际运行过程中,JVM并不会直接和Python进行交互,JVM只负责启停Pytho...原创 2019-04-01 15:30:53 · 482 阅读 · 0 评论 -
spark如何配置Python虚拟环境
方式一 # 在代码中配置环境变量 import os os.environ["SPARK_HOME"] = "/usr/local/Cellar/apache-spark/1.5.1/" os.environ["PYSPARK_PYTHON"]="/usr/local/bin/python3" 方式二原创 2019-05-23 14:57:47 · 1103 阅读 · 0 评论