之前一直是可以使用anaconda pyspark,今天重新运行原来已有的模块时,出现错误:“spark"模块没有定义。于是用sc.master试试有没有出错,仍旧出错。
终端日志:其实有好大一串,我就复制了下面一点
ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the servic
然后到网上搜,看到可能是网络地址的原因,于是用ifconfig查看此虚拟机的地址,发现由原来的192.168.127.130变为了192.168.127.133
于是在/etc/host文件修改地址
最后在终端输入
PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
之前的错误解决了。