大数据
文章平均质量分 57
gavenyeah
北京师范大学计算机专业研究生
展开
-
最新版spark-2.2.0安装教程
欢迎使用Markdown编辑器写博客1.jdk的安装; 2.hadoop安装; 3.scala安装; 4.spark安装。0.环境:mac OS X 10.12 1.jdk的安装:安装java JDK1.7及以上的版本,配置好环境变量。 查看是否安装成功命令: $: java -version2.hadoop安装: $: brew install hadoop 默认安原创 2017-09-21 15:09:57 · 3078 阅读 · 0 评论 -
pyspark rdd def partitionBy自定义partitionFunc
def partitionBy(self, numPartitions, partitionFunc=portable_hash): def partitionBy(self, numPartitions, partitionFunc=portable_hash): “”” Return a copy of the RDD partitioned us原创 2017-12-11 15:10:52 · 5843 阅读 · 1 评论