看视频在学习python,里面的示例代码都有敲,最后还是有一点凌乱
1,学习python会涉及很多第三方库 与 模块,常用的下载方式是 使用 pip install XXX
以下载机器学习库的 numpy 为例:
pip3 install numpy
Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<pip._vendor.urllib3.connection.VerifiedHTTPSConnection object at 0x7f6a2b124e48>: Failed to establish a new connection: [Errno 101] Network is unreachable’,)’: /simple/numpy/
【这表示当前环境不支持联网下载】
幸运的是看到了一篇大佬的文章有提到
**如果下载老是出现异常报错,可以尝试手动下载,
修改文件的后缀 .whl 为 .zip
解压此压缩文件,并将得到的文件夹中的所有文件复制到 Python/Lib/site-packages中即可**
当然此方法也使用于 网络有限制的同学
整个过程环境的导入本人都使用的这种方法
2,之前我们用的是Scala 语言执行 spark, 之前看的资料零零碎碎有提到 spark-submit 执行python文件的字眼
当尝试 运行 testPython.py文件时
【list = [i * i for i in range(1, 11) if (i % 2) == 0]
print(list) 】
报错:java.lang.IllegalStateException: User did not initialize spark context!
意识到 我对python有很大的误解。
python是一门语言,spark是框架,使用spark-submit要创建 spark context,而我的python文件中并没有涉及这一块
我的测试文件可以使用 pyhton testPython.py 成功运行,或者将语句贴在 pyspark 终端 及 python终端中运行
具体spark 运行 python的代码文件可以参考:https://blog.csdn.net/huobanjishijian/article/details/52438893
更新中…