![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
深度学习扛把子
这个作者很懒,什么都没留下…
展开
-
连接spark集群Windows环境搭建
1.软件1、anaconda(python3.6)2、spark-2.4.3-bin-hadoop2.7(spark版本要和集群上的一样)3、JDK1.82.python环境配置pip install pyspark这里如果遇到安装超时的情况采用以下命令pip --default-timeout=100 install pyspark或pip --default-timeout=100 install -U pyspark没有py4j也得装下pip install py4j...转载 2021-08-06 16:27:21 · 379 阅读 · 0 评论 -
pyspark env: ‘python’: No such file or directory
vim ~/.bashrc末尾添加export PYTHONPATH=SPARKHOME/python:SPARK_HOME/python:SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATHexport PYSPARK_PYTHON=python3然后生效source ~/.bashrc到spark目录下执行./bin/pyspark启动成功...原创 2021-08-03 11:17:02 · 402 阅读 · 0 评论 -
如何使用pyspark
进到页面https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz下载spark原创 2021-08-02 17:09:53 · 225 阅读 · 0 评论