目录
SPARK
SPARK笔记
spark版本下载
https://archive.apache.org/dist/spark/
官网
参考链接
spark连接HDFS报错
spark连接HDFS报错:8020 failed on connection exception: java.net.ConnectException: 拒绝连接 解决方法
解决方法
刚开始学习spark,结果连接HDFS报错了。查了一些资料,原因找到了。
因为我配置的HDFS集群端口是9000,而spark写的是8020,结果肯定会报错啊。把8020改为9000即可。错误很低级,但写出可能给新手有帮助吧。
pyspark设置python的版本
pyspark报错
Caused by: MetaException(message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt)
解决办法
原因:
spark应用创建表时,指定的schema版本为2.3.0,而hive的schema版本为1.2.0,版本不兼容导致
方法1
spark安装:spark-3.0.0-bin-hadoop2.7-hive1.2.tgz
方法2
参考如下链接
Failed to get database global_temp, returning NoSuchObjectException
mv hive/conf/hive-site.xml spark/conf/hive-site.xml
mv hive/lib/mysql-connector-java-5.1.44-bin.jar spark/jars/mysql-connector-java-5.1.44-bin.jar