Python
记录python相关
dont_curry
这个作者很懒,什么都没留下…
展开
-
使用python代替spark-submit运行pyspark代码
刚开始使用pyspark,写了import pyspark的代码,运行时需要spark-submit xx.py来执行xx文件。可以直接使用python来执行xx.py。需要首先安装findspark包pip install findspark然后在代码开始进行初始化,找到spark,详细如下:import findsparkfindspark.init()from pyspark import SparkContextsc = SparkContext("local", "count app原创 2020-10-23 11:30:11 · 443 阅读 · 0 评论 -
pycharm使用经历
pycharm导入包点击File选择setting,找到project,如图所示:点击右边的+号就可以选择库了点击Manage Repositories,进入安装源的设置pip镜像源:清华: https://pypi.tuna.tsinghua.edu.cn/simple豆瓣: http://pypi.douban.com/simple/阿里: http://mirrors.aliyun.com/pypi/simple/还是无法下载,就选择http://pypi.douban.co原创 2020-08-04 14:25:36 · 120 阅读 · 0 评论