![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PySpark
盐水鱼
这个作者很懒,什么都没留下…
展开
-
Spark学习记录——环境配置
配置SPARK的学习记录,若有错误,还请指正spark-env.sh配置export JAVA_HOME=.. # JDK安装目录export SCALA_HOME=.. # SCALA安装目录export HADOOP_HOME=.. #HADOOP安装目录export SPARK_HOME=.. #SPARK安装目录export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)export HADOPP_CONF_DI原创 2021-08-06 16:54:34 · 203 阅读 · 0 评论 -
SPARK_LOCAL_IP设置
获取本机IP地址方法https://www.cnblogs.com/poloyy/p/12212868.htmlexport SPARK_LOCAL_IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")原创 2021-08-06 16:40:31 · 1454 阅读 · 0 评论 -
Pyspark pickle can‘t pickle class解决办法
Pyspark pickle can’t pickle class原创 2020-10-04 01:06:20 · 1509 阅读 · 0 评论