python
导演我死哪儿
这个作者很懒,什么都没留下…
展开
-
pyspark编码整理(一)-windows上编码基础准备
当我们需要进行pyspark编码的时候首先是需要安装一些编译环境以及相应依赖包的一些安装与配置,pyspark编码方面,我们需要再我们的windows上进行如下的配置:1、python版本,这个是运行python的基础,就像java中的jdk,我们使用的是python3.6.0,python3.6.0的安装可以有两种方式,第一种方式是直接安装纯净版的python3.6.0;第二种方式是安装与py...原创 2020-12-28 16:00:02 · 219 阅读 · 0 评论 -
centos7离线安装python3
https://www.cnblogs.com/yuncong/p/10251914.html转载 2019-12-06 16:45:47 · 789 阅读 · 0 评论 -
anaconda与python版本对应关系
https://blog.csdn.net/cvMat/article/details/78063414转载 2019-08-13 17:06:10 · 2384 阅读 · 0 评论 -
spark调用python
spark调用python传参数https://blog.csdn.net/zhanglu1236789/article/details/84106668 此模型为重点梳理命令提交https://blog.csdn.net/dymkkj/article/details/86006088两者兼容调整注意点https://www.cnblogs.com/SteveWesley/...原创 2019-08-13 21:13:43 · 1940 阅读 · 0 评论 -
优秀博客汇总,必看!!!!
数据科学系列:https://mp.weixin.qq.com/s/MP_x4GJo03jWYjco-_RChg深度学习&推荐系统系列:https://mp.weixin.qq.com/s/ayDRdbrqQJeiwBZkZV9xBwPython大荟萃系列:https://mp.weixin.qq.com/s/7FjnPUyCxd-sKXpGhRvCIgPython系列文...原创 2019-08-19 10:41:07 · 100 阅读 · 0 评论 -
spark分布式调用python算法包注意事项整理
项目背景:算法人员在windows上编写算法并运行,算法包含了从原始数据的解析到最终执行结果的存储或者展示等全套逻辑,随着数据量越来越多已经无法单独写脚本进行数据处理,急需一个数据管理功能,同时单机运行算法较慢,希望能分布式运行调度提高效率。同时数据展示、结果展示等功能整合与调研中注意事宜整理1、区分大小写,windows环境不区分大小写,但linux运行环境下区分大小写2、csv文...原创 2019-08-14 11:42:46 · 1608 阅读 · 0 评论 -
linux上python及其依赖包安装、节点快速扩容安装
1、首先是安装python版本python的安装可以有两种方式,一种是先安装纯金版的python然后根据自己代码的需要再去用pip对应安装其他的依赖包,当然这首先要求安装pip包;第二种方式是安装与python相对应的Anaconda,Anaconda的好处是除了安装对应版本的python之外还附带了很多第三方依赖包,一些比较常见的依赖基本可以满足,可以省去安装完纯净python版本之后还要手动...原创 2019-09-04 16:45:05 · 957 阅读 · 0 评论