EMR 6.2 hive创建表执行时间过长，最后失败

EMR 6.2 hive创建表执行时间过长，最后失败，报错如下

Job Commit failed with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException

 

解决 ：关闭一致性视图

修改 /usr/share/aws/emr/emrfs/conf/emrfs-site.xml 文件 将 fs.s3.consistent 改为 false，再次执行 insert 便可以正常写入数据。

 

官方给出解决方案：由于每个节点都有可能负责存取 S3 任务，建议可以用 EMR 配置功能 (Configurations) 来进行修改，让所有节点都关闭一致视图。