Python大数据
Ahrli
这个作者很懒,什么都没留下…
展开
-
Python连接spark集群
在集群master节点终端上执行pip install pyspark==3.1.1pyspark --master spark://master:7077Python代码#sc查看是否连接成功sc显示如下说明成功接着查看集群环境,把环境拷贝下来import osos.environ拿取里边3个环境变量: ['SPARK_HOME', 'PYTHON_HOME','PYSPARK_PYTHON']本地连接spark集群:dc1 = {...原创 2021-05-06 14:53:42 · 4193 阅读 · 0 评论 -
HADOOP3和SPARK3集群搭建
hadoop3下载列表下载3.2版本http://archive.apache.org/dist/hadoop/core/hadoop3安装参考,两篇文章结合http://dblab.xmu.edu.cn/blog/1177-2/https://blog.csdn.net/weixin_43576022/article/details/105661627spark3安装http://dblab.xmu.edu.cn/blog/1714-2/spark3 文件: slave更改为w原创 2021-05-06 14:21:12 · 430 阅读 · 0 评论