初学python需要弄清楚的几个问题

本文介绍了在学习Python过程中遇到的第三方库安装问题,当pip下载失败时,提供了解压.whl文件手动安装的方法。同时,针对使用Spark运行Python文件时遇到的错误,解释了Python与Spark的关系,指出需先创建SparkContext。提供了pySpark运行Python代码的参考链接。
摘要由CSDN通过智能技术生成

看视频在学习python,里面的示例代码都有敲,最后还是有一点凌乱

1,学习python会涉及很多第三方库 与 模块,常用的下载方式是 使用 pip install XXX

以下载机器学习库的 numpy 为例:
pip3 install numpy

Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<pip._vendor.urllib3.connection.VerifiedHTTPSConnection object at 0x7f6a2b124e48>: Failed to establish a new connection: [Errno 101] Network is unreachable’,)’: /simple/numpy/

【这表示当前环境不支持联网下载】
幸运的是看到了一篇大佬的文章有提到
 **如果下载老是出现异常报错,可以尝试手动下载,
 修改文件的后缀 .whl  为 .zip 
 解压此压缩文件,并将得到的文件夹中的所有文件复制到  Python/Lib/site-packages中即可**
 当然此方法也使用于 网络有限制的同学
 整个过程环境的导入本人都使用的这种方法

2,之前我们用的是Scala 语言执行 spark, 之前看的资料零零碎碎有提到 spark-submit 执行python文件的字眼
当尝试 运行 testPython.py文件时
【list = [i * i for i in range(1, 11) if (i % 2) == 0]
print(list) 】

 报错:java.lang.IllegalStateException: User did not initialize spark context!
 意识到 我对python有很大的误解。
 python是一门语言,spark是框架,使用spark-submit要创建  spark context,而我的python文件中并没有涉及这一块
 我的测试文件可以使用 pyhton  testPython.py 成功运行,或者将语句贴在 pyspark 终端 及 python终端中运行
 具体spark 运行 python的代码文件可以参考:https://blog.csdn.net/huobanjishijian/article/details/52438893

更新中…

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值