听一个朋友说,每隔半年或者一年的时候记得对自己进行一次复盘,如果发现自己还在重复使用之前己经会的技能,表示你需要学习新的知识了,这样才可以让自己不断的进步.
python己经用了一段时间了,现在工作上需要做一些数据分析的工作内容,开始接触pyspark。
windows下pyspark的安装
1. windows系统电脑己安装python2.7软件,jdk1.8
2.确认python2.7的安装路径下是否己安装pip,
例如:我的python安装路径C:\Python27\Scripts下确认是否有pip.exe
图1
3.执行win+r弹出运行对话框,输入cmd,弹出的cmd.exe的对话框。在对话框pip所在路径下执行pip install pyspark,正常执行如图2:
图2
4.在安装过程中,你可能会遇到问题:1)安装的过程中出现timeout的问题,这个问题是站点或者网络问题,可以延长pip install的默认超时时间(15s)来解决,例如设置默认超时时间100s:pip install --default-time=100 pyspark ;
5.测试是否安装成功,执行import pyspark是否正常执行