大数据
深度学习扛把子
这个作者很懒,什么都没留下…
展开
-
连接spark集群Windows环境搭建
1.软件 1、anaconda(python3.6) 2、spark-2.4.3-bin-hadoop2.7(spark版本要和集群上的一样) 3、JDK1.8 2.python环境配置 pip install pyspark 这里如果遇到安装超时的情况采用以下命令 pip --default-timeout=100 install pyspark 或 pip --default-timeout=100 install -U pyspark 没有py4j也得装下 pip install py4j ...转载 2021-08-06 16:27:21 · 386 阅读 · 0 评论 -
pyspark env: ‘python’: No such file or directory
vim ~/.bashrc 末尾添加 export PYTHONPATH=SPARKHOME/python:SPARK_HOME/python:SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH export PYSPARK_PYTHON=python3 然后生效 source ~/.bashrc 到spark目录下执行 ./bin/pyspark 启动成功 ...原创 2021-08-03 11:17:02 · 430 阅读 · 0 评论 -
如何使用pyspark
进到页面https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz 下载spark原创 2021-08-02 17:09:53 · 245 阅读 · 0 评论