weixin_48336761的博客

hive的调度任务突然报Error: GC overhead limit exceeded。-XX:+UseConcMarkSweepGC：启用并发标记清除垃圾回收器。-Xmx：设置JVM的最大堆大小。1. 改写SQL代码 ，不在讨论范围。2.优化Java虚拟机。

hive -e`和`hive -f`都是用于在命令行中执行Hive查询的命令，但它们的使用场景略有不同。`hive -f`命令用于在命令行中执行存储在文件中的Hive查询语句。在`myquery.hql`文件中，可以编写任意数量的Hive查询语句，每个查询语句都应该以分号结尾。在上面的示例中，`myquery.hql`文件包含三个Hive查询语句，分别设置使用的数据库、计算表中的行数和选择符合日期条件的行。总之，`hive -e`用于执行单个查询，而`hive -f`用于执行存储在文件中的多个查询。

在Hive中，当某些列的数据分布不均匀时，就会发生数据倾斜，导致某些任务运行缓慢或失败。以下是一些处理Hive数据倾斜的方法

布隆过滤器（Bloom Filter）是一种数据结构，用于判断一个元素是否可能在一个集合中存在。在Hadoop和Hive中，布隆过滤器常常用于处理数据倾斜问题

在Hive中，可以使用LATERAL VIEW和explode函数来解析数组

第二步查看下mysql是否开启远程连接（这个很多教程都没有说，如果使用localhost不需要，使用ip地址的话，需要这个）hive元数据问题，无法获取元数据表结构版本，这个问题主要原因是无法连接数据库。第一步先检查hive-site.xml的数据库配置是否正确。ok, 继续使用hive.....