spark
itw_wang
itwangxw
展开
-
Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run wi
出现上述错误是环境变量设置有误,下面为修改方法方法1.在py代码中import os修改环境变量:此方法不行可以看方法2import osPYSPARK_PYTHON = /home/piting/ENV/anaconda3/bin/pythonos.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON方法2.有时如果你使用的是虚拟环境或者ana...原创 2018-11-13 00:18:25 · 6442 阅读 · 0 评论 -
scala_spark的implicity总结
通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这种特性可以极大的减少代码量,忽略那些冗长,过于细节的代码。1、Spark 中的隐式思考隐式转换是Scala的一大特性, 如果对其不是很了解, 在阅读Spark代码时候就会很迷糊,有人这样问过我?RDD这个类没有reduceByKey,groupByKey等函...转载 2019-05-22 16:07:28 · 745 阅读 · 0 评论