Hive学习笔记8@运维相关

查看metastore连接数

         netstat–na | grep 9083 | grep –v LISTEN | wc -l

查看作业是否排队

         集群资源利用率低，但客户端作业响应较慢

查看作业Job数

部署安装

迁移进程

调整租户tmp目录位置

Hive客户端、服务端安装配置文件是否一致

一般情况下不一致，客户端只需要缺省配置即可，通过beeline方式连接服务端。客户端一般部署在Hadoop集群之外应用侧

Hive集群多个metastore、server2部署参数配置

服务启动时指定参数启动，如下：

nohup hive --service metastore -p 9083 --hiveconf hive.log.dir=/e3base/e3base550/hive/logs/metastore_9083 & 

 

nohup hive --service hiveserver2 --hiveconf  hive.server2.thrift.port=10001 --hiveconf hive.metastore.uris='thrift://192.168.10.34:9083,thrift://192.168.10.35:9084' --hiveconf hive.server2.zookeeper.namespace=hiveserver2/ssjf --hiveconf hive.log.dir=/e3base/e3base550/hive/logs/server2_10001 --hiveconf hive.exec.scratchdir=/user/ssjf/tmpdata &

MYSQL

MYSQL赋权操作

insert into mysql.user(Host,User,Password)values("localhost","hive",password("hive"));

create database hive;

grant all on hive.* to hive@'%'  identified by 'hive';

grant all on hive.* to hive@'localhost'  identified by 'hive';

flush privileges;

修改数据库实例字符集格式

alter database hive character set latin1

元数据

检查元数据是否同步到MYSQL

登录mysql

mysql –uroot –pwanghq

执行如下SQL：

         usehive;   //使用 hive 数据库库

         showtables; //显示 hive 数据库中的数据表

         select* from TBLS; //查看 hive 的元数据信息