Hive
Hive
火树银花之处
努力追求卓越、成功就会出其不意的找上门来.
展开
-
数据仓库DW、ODS、DM概念及其区别
数据仓库DW、ODS、DM概念及其区别在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程: Extract,数据抽取,也就是把...原创 2020-04-08 12:01:00 · 308 阅读 · 0 评论 -
hiveServer2实现hive高可用
在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多:1. 在应用端不用部署Hadoop和Hive客户端;2. 相比hive-cli方式,HiveServer2不用直接将HDFS和Metastore暴漏给用户;3. 有安全认证机制,并且支持自定义权限校验;4. 有HA机制,解决应用端的并发和负载均衡问题;5. JDBC方式,可以使用任何语言,方便与应...转载 2020-01-02 23:16:08 · 1838 阅读 · 0 评论 -
hive_架构
hive_架构 hive整合hadoop一起分为以下几个模块:client,metastore,driver,hdfs等 hive的用户接口 hive cli 命令行模式,使用最多,较为方便 ./bin/hive -e 'select * from test' 执行指定sql,无需进入hive交互式命令行 ./bin/hive -S -e 'select * from test' 静音模式,只输出结果,不输出MapReduce执行过程 ./...原创 2020-05-17 23:55:09 · 147 阅读 · 0 评论 -
hive_介绍
hive_介绍 hive是基于Hadoop的一个数据仓库工具。它可以将一个结构化数据文件映射成为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为Mapreduce任务进行运行。 hive与关系型数据库的区别:存储文件的系统不同,hive使用HDFS,关系型数据库使用服务器本地的文件系统; hive使的计算模型是Mapreduce,而关系型数据库使用的是自己设计的计算模型; 关系型数据库为实时查询业务设计的,而hive则是为了海量数据挖掘设计的,实时性很差; hi...原创 2020-05-17 23:06:56 · 271 阅读 · 0 评论 -
hive入门及简介
hive入门及简介1、hive是什么?Hive是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2、hive组成?Hive主要由以下三个模块组成:用户接口模块,含CLI、HWI、JDBC、Thrift Server等,用来实现对Hive的访问。CLI是Hive自带的命令行界面;HWI是Hive的一个简单网页界面;JDBC、ODBC以...原创 2020-03-02 18:13:19 · 3475 阅读 · 0 评论