qq_36864672的博客

创建表时，特别是宽表，尽量使用 ORC、ParquetFile 这些列式存储格式，因为列式存储的表，每一列的数据在物理上是存储在一起的，Hive查询时会只遍历需要列数据，大大减少处理的数据量。在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。但是不推荐使用这个语法。

这个执行计划对于咱们了解底层原理，hive 调优，排查数据倾斜等颇有帮助 express使用语法以下：apacheexplain 后面能够跟如下可选参数，注意：这几个可选参数不是 hive 每一个版本都支持的函数在 hive cli 中输入如下命令(hive 2.3.7)：oop获得结果（请逐行看完，即便看不懂也要每行都看）：性能Map ReduceTableScanmode: hashtable:limit: -1ListSink。

本脚本实时监控inceptor gateway和keepalived服务状态，通过判断gateway状态停止启动keepalived服务，实现vip的切换，实现gateway高可用（只有停掉master的keepalived服务vip才会切换到BACKUP节点）。keepalived.sh实现vip切换，如果gateway服务down掉，就停止keepalived服务，vip会切换到BACKUP，如果gateway服务恢复，就启动keepalived服务，vip切回MASTER。停掉gateway1。

要等待20秒验证，确认它没有自动重启。4.1、待host4中（新扩容的pod）出现init_done.flag后，编辑文件 /usr/bin/txsql/tools/txsql.sh，在函数restart_role的第一行添加 return 0，目的是禁止新pod自动重启服务。5.1、待host1的数据目录下出现init_done.flag后，编辑文件 /usr/bin/txsql/tools/txsql.sh，在函数restart_role的第一行添加 return 0，目的是禁止新pod自动重启服务。

6.2 在流水最大的节点上，保持mysql的启动状态，并使用mysqldump工具备份数据，命令如下，其中port是/usr/bin/txsql/etc/install_conf.sh配置文件中的MYSQL_LOCAL_PORT，密码是服务部署时随机生成的，获取方式见步骤6.2 获取mysql root密码。因IP发生变更的环境中，建议执行本步骤。，UUID是产生这条binlog的节点ID，START一般是1，END是每同步一个新的binlog就会+1的正整数，START-END就代表了一个正整数的区间。

/test_0329用户可将增删改查权限赋予其他用户(也可指定某个权限)//test_0329用户可将create权限赋予其他用户。//赋予test_0329用户对test库的创建、增删改查权限；//收回test_0329用户对test库的所有权限；//赋予test_0329用户建库间表权限；

类型的值可以指定前缀， 后缀可以省略。类型值中的每个字段顺序都是需要和表中。需要使⽤双引号，在值中的。

当存在多个Inceptor server共用一个metastore时，在一个server下创建UDF，需要将其他Inceptor server重启才能查看、使用UDF。如果Inceptor不在local mode，那么资源的地址也必须是非本地URI，比如HDFS地址。本文档说明了在TDH集群部署UDF的规范化操作流程，方便大家在日后的实施工作中提高效率。重建工程，将相关包和代码复制，重新打jar包，注意JDK版本要和TDH集群匹配。如果需要更新临时UDF，需要重启Inceptor重新创建该临时UDF。

如果compact所在进程中这三种thread都处于正常状态，对于基于mapreduce的compact，还要检查yarn上compact任务是否正常，之前碰到的情 况是yarn分配给inceptor的资源太多，导致compact任务一直无法完成，碰到这种情况需要调整yarn的资源分配来确保有足够的资源进行compact。时，compact threads内嵌在server中，compact任务是一个spark任务，我们可以在spark的4040页面上看到（compact任务的sql类似于compact。