xshell远程连接服务器——建议使用mobaxterm,更好用一些。
在服务器端,使用jupyter-notebook命令打开开发环境
在浏览器地址输入地址和端口——XXX.XX.148.249:8899
如果有密码输入密码即可在本地页面测试和开发了。
本地端页面如图
过程中可能遇到导入pyspark不顺利的情况,安装findspark即可。
如果是离线服务器,安装办法看这里——(建议使用whl文件安装)https://blog.csdn.net/make_progress/article/details/81636168
import findspark
findspark.init()
from pyspark import SparkContext, SparkConf
接下来联系pyspark——https://www.jianshu.com/p/acd96549ee15