![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 89
pigcoffee
精通C++、分布式应用,数据仓库、PostgreSQL相关工作。
展开
-
Hive学习笔记1@Hiveserver2高可用实现
在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多:在应用端不用部署Hadoop和Hive客户端;相比hive-cli方式,HiveServer2不用直接将HDFS和Metastore暴漏给用户;有安全认证机制,并且支持自定义权限校验;有HA机制,解决应用端的并发和负载均衡问题JDBC方式,可以使用任何语言,方便与应用进行数据交互;原创 2017-03-03 15:49:57 · 6287 阅读 · 0 评论 -
Hive学习笔记2@Hive架构
Hive架构分为四部分接口Hive 对外提供了三种服务模式,即 Hive 命令行模式(CLI),Hive 的 Web模式(WUI),Hive的远程服务(Client)。、命令行模式Hive 命令行模式启动有两种方式。执行这条命令的前提是要配置 Hive 的环境变量。 1、cd $HIVE_HOME/bin,执行如下命令: ./hive2、直接执行原创 2017-03-03 15:54:13 · 645 阅读 · 0 评论 -
Hive学习笔记5@beeline命令
Beeline工作模式有两种,即本地嵌入模式和远程模式。嵌入模式情况下,它返回一个嵌入式的Hive(类似于Hive CLI)。而远程模式则是通过Thrift协议与某个单独的HiveServer2进程进行连接通信Beeline CLI命令参数Description --autoCommit=[true/false] Enable/disable automatic tra原创 2017-03-03 16:00:56 · 2952 阅读 · 0 评论 -
Hive学习笔记8@运维相关
查看metastore连接数 netstat–na | grep 9083 | grep –v LISTEN | wc -l查看作业是否排队 集群资源利用率低,但客户端作业响应较慢查看作业Job数部署安装迁移进程调整租户tmp目录位置Hive客户端、服务端安装配置文件是否一致一般情况下不一致,客户端只需要缺省配置即可,通过beel原创 2017-03-03 16:02:11 · 1221 阅读 · 0 评论 -
Hive学习笔记10@元数据解析
Hive元数据不存放在Hdfs上,而是存放在RDBMS上,典型的如Mysql、Derby等。Mysql元数据库查看元数据库use hive; //使用 hive 数据库库show tables; mysql> show tables;+---------------------------+| Tables_in_hive |+---原创 2017-03-03 16:03:51 · 270 阅读 · 0 评论 -
Hive学习笔记4@参数配置
hive.execution.enginemr设置计算引擎2javax.jdo.option.ConnectionURLjdbc:mysql://10.30.45.36:3307/hivedb?createDatabaseIfNotExist=truejdbc链接远程mysql数据库实例的地址原创 2017-03-03 15:58:16 · 746 阅读 · 0 评论 -
Hive onver Hbase详解
Hbase不支持SQL语句查询,如果要实现count\group 等操作需要借助Mapreduce程序,门槛较高;Hive对于SQL的支持有强大的功能,我们不需要写过多的自定义函数就能实现较为复杂的查询;原创 2017-09-08 11:26:05 · 1748 阅读 · 0 评论