macos/jupyter/spark 报错：[Errno 8] nodename nor servname provided, or not known

最新推荐文章于 2022-05-16 11:57:16 发布

水母君98

最新推荐文章于 2022-05-16 11:57:16 发布

阅读量2.6k

点赞数

分类专栏：环境报错文章标签： mac spark

本文链接：https://blog.csdn.net/m0_37754282/article/details/108781478

版权

问题描述：在MAC OS 上用jupyter运行spark时，出现错误 sc is not defined，很奇怪这玩意还要defined 吗，后来根据其他blog的描述下载了 findspark ，查出了错误 gaierror: [Errno 8] nodename nor servname provided, or not known

基本就是锁定问题关键在mac自己不知道自己主机叫啥名字上了。

解决流程可以按照我的试一试，试到哪一步能解决了就可以。基本上是搜集了网络上部分的解决方案。

一、安装 findspark

没有pip3用别的也行

pip3 install findspark

然后输入以下进行测试

import findspark
findspark.init()
 
import os
import sys
spark_name = os.environ.get('SPARK_HOME',None)
if not spark_name:
    raise ValueErrorError('spark环境没有配置好')
sys.path.insert(0,os.path.join(spark_name,'python'))
sys.path.insert(0,os.path.join(spark_name,'python/lib/py4j-0.10.6-src.zip'))
#(python/lib/py4j-0.10.6-src.zip位于D:spark-2.3.0-bin-hadoop2.7中pyth