![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
@小时候可乖了@
乐于分享 笔耕不辍
展开
-
pyspark 自定义分区实操
在pycharm中编写如下代码:from pyspark import SparkConf,SparkContextdef MyPartitioner(key): #自定义分区函数 print('MyPartitioner is running') print('the key is %d'%key) return key%10 #设定分区取值方式def main(): print('the main function is running') c原创 2021-01-10 12:00:46 · 1584 阅读 · 0 评论 -
spark 2.4.0 集群搭建
spark 2.4.0 集群搭建步骤前提:搭建完hadoop集群spark下载链接:http://archive.apache.org/dist/spark/spark-2.4.0/下载版本:spark-2.4.0-bin-without-hadoop.tgz下载完毕后,上传至主节点:hadoop01的家目录安装在apps目录下 tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C ./apps/ #安装完毕后 cd到apps目录下改一下spar原创 2021-01-03 22:08:47 · 787 阅读 · 0 评论