1、
Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection
答:未添加mysql.jar 包。
2、Parquet 文件读取hive 结果和 spark sql的结果不一致问题?
答: spark sql 默认采用自己的parquet 的文件解析方式,以获取更好的性能,所以在读取hive 的parquet文件时,需要关闭转换。
spark.sql.hive.convertMetastoreParquet 默认是打开的,设置为true即可。
val spark = SparkSession
.builder()
.master(sparkMaster)
.appName(appName)
.config("spark.network.timeout","300")
.config("spark.sql.hive.convertMetastoreParquet","false")
.enableHiveSupport()
.getOrCreate()