sunrising_hill的专栏

第一次使用分区归档，解决分区下小文件过多的问题：使用步骤：1 执行：set hive.archive.enabled=true;2 执行：ALTER TABLE test.users_part ARCHIVE PARTITION(ds='20200401');执行第二条SQL时报错：SQL CLI中的报错信息为：hive (test)> ALTER TABLE test.users_part ARCHIVE PARTITION(ds='20200401');interme.

一、配置HDFS HA简介：任意时刻只有一个NameNode处于Active状态，为集群操作提供服务。其他NameNode全部处于Standby状态，他们维护足够的状态信息，以便在Active Failover时，快速提供服务切换。为了快速切换NameNode，Standby NameNode需要实时更新DataNode的Block信息，因此，DataNode上会配置所有的Nam...

Hive在HBase的数据表上建立外联表时，尽量将HBase表中可以最快缩小范围的字段作为RowKey的起始字符串，经过测试，这样在查询hive时，如果指定了该字段作为where条件，可以大幅缩短SQL的执行时间。

Hive目录下的hive-site.xml添加： <property> <name>hive.metastore.uris</name> <value>thrift://hm.clusterdomain.com:9083</value> <description>Thrift URI for the remote me...

找到hive的安装目录，进入/hive/bin/ext/,编辑 metastore.sh文件，增加以下内容：export HIVE_METASTORE_HADOOP_OPTS="-Xms4096m -Xmx4096m"添加后文件内容如下：THISSERVICE=metastoreexport SERVICE_LIST="${SERVICE_LIST}${THISSERVICE} "...

1、出现下面报错信息：Caused by: java.lang.ClassNotFoundException: org.apache.logging.log4j.spi.LoggerContextFactory at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang....