1. ERROR org.apache.spark.storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /home/work/hdd9/yarn/ttttt-hadoop/nodemanager/usercache/s_sales/appcache/application_1597370851926_759263/blockmgr-7aa07b85-2ee1-4b1b-9eb1-62

spark项目中发现从hive读取的数据，dataframe无法进行reparation的设置，非得转成rdd才可以？？？后来经过查阅资料和测试，原来是submit中设置的参数问题：--conf spark.sql.adaptive.enabled=true 谨慎使用原因：由于spark.sql.adaptive.enabled设置成true就是开启动态分区了,自定义分区数将不管用；我们设置成 false 后自定义分区数就管用了！！！相关参数：spark.sql.adapt..

1.无法访问hbase的regionservice自己就在虚拟机里搭建了Hadoop和HBase，在进行API操作连接时，出现以下错误：Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Fri N...

spark中如果不配置hive环境是无法读取hive表数据的，如下配置：①如果你的hive元数据存在mysql，把mysql-connector-java-8.0.18.jar复制到spark的jars中②在spark的spark-env.sh中添加：export HIVE_HOME=/root/bigdata/hive-2.3.6export HIVE_CONF_DIR=${HI...