Hive系列(一)Hive基本概念

最新推荐文章于 2024-03-26 14:37:37 发布
VIP文章 最新推荐文章于 2024-03-26 14:37:37 发布
阅读量2.8k 收藏 4
点赞数 1
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012834750/article/details/80492856
版权

一、Hive基本概念

1.1 什么是Hive

Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

本质是：将HQL转化成MapReduce程序
1）Hive处理的数据存储在HDFS
2）Hive分析数据底层的实现是MapReduce
3）执行程序运行在YARN上

1.2 为什么使用Hive

1）直接使用hadoop所面临的问题
（1）人员学习成本太高
（2）项目周期要求太短
（3）MapReduce实现复杂查询逻辑开发难度太大

2）Hive的好处
（1）操作接口采用类SQL语法，提供快速开发的能力。
（2）避免了去写MapReduce，减少开发人员的学习成本。
（3）扩展功能很方便。

1.3 Hive架构概述

这里写图片描述

最低0.47元/天 解锁文章
淡淡的倔强
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive-简介
03-01
Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的，是建立在Hadoop上的数据仓库基础构架。作为Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive主要提供以下功能：1.它提供了一系列的工具，可用来对数据进行提取/转化/加载（ETL）；2.是一种可以存储、查询和分析存储在HDFS（或者HBase）中的大规模数据的机制；3.查询是通过MapReduce来完成的（并不是所有的查询都需要MapReduce来完成，比如select*fromXXX就不需要；Hive设计目的就是用来管理和
Hive（一）
GCH6969的博客
12-28 1036
Hive和数据库比较由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特
Hive详解（一篇文章让你彻底学会Hive）
最新发布
m0_51388399的博客
03-26 1640
最详细的Hive讲解，一篇既可以学会hive的相关知识。
Hive代码分析报告（一）：Hive安装使用、代码分析工作概述
weixin_45846560的博客
09-30 527
2021SC@SDUSC Hive介绍 Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能（HQL）。其本质是将类SQL语句转化为MapReduce程序，从而避免了去写 MapReduce程序，减少开发人员的学习成本。 Hive的安装部署 安装环境 使用VMware，Linux系统为CentOS-7 安装步骤 1.安装hive的前提准备： 提前在Linux系统中安装配置jdk、Hadooop、MySql 2.Hadoop
hive避免重复扫描同一个表语法
Mr.horse的博客
01-14 397
上面的查询，语法是正确的，不过执行效率低下。
Hive创建表
不言尘世
12-30 631
1 hive ddl语句 2 创建表 2.1 创建内部表(托管表，管理表): 表被Hive管控 数据存放在数据仓库中 /user/hive/warehouse --语法: create table 表名( 字段名1 数据类型,字段名 2 数据类型.... ) row format delimited fields terminated by '\001' --指定字段分隔...
hive关于一个表的操作
共同进步
12-08 1614
1，创建表格 create table stu(name string,hobby array<string>,scores map<string,double>) row format delimited fields terminated by ',' collection items terminated by '-' MAP KEYS TERMINATED BY ':'; 2,导入数据 数据： zs,drink-eat,english:90-math:66 ls,drink
hive查看一张表的分区字段_Hive表的分区与分桶
weixin_42537142的博客
01-12 9858
1.Hive分区表Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。创建分区表的语法：createtabletablename(namestring)partitionedby(key,type...);示例droptableifexistsemploy...
快速学习-Hive 基本概念
01-07
第 1 章 Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质...
Hive基本概念及常用操作.rar
03-05
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化...Hive概念及常用操作文件包含Hive的基本概念与架构，以及在平常的工作中常用的一些操作，包括HQL的开发运行，以及优化。
Hive简介及核心概念.md
08-07
Hive简介及核心概念，入门篇
Hive使用手册Hive使用手册
05-14
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型： 2 2.1原子数据类型： 2 2.2复杂数据类型： 2 2.3 Hive类型转换： 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
Hadoop Hive HBase Spark Storm概念解释
12-26
Hadoop Hive HBase Spark Storm概念解释
hive笔记-如何创建一张表并将数据导入
然然然星人的博客
01-07 2213
参考资料：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationhive版本：hive1.1.0主要通过参考官网wiki，顺便做做笔记。具体的参数功能建议直接参考官网。创建一个数据库的语法("[]"为可选参数)：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] data...
hive中复制（备份）一张表的两种方式
m0_38109926的博客
03-23 7368
hive中复制（备份）一张表的两种方式 第一种种方式虽然可以复制表字段、表数据 ，但是表属性会发生改变 create table if not exists a_tableNMm as select * from b_tabNm 第二种 建表语句会完全相同，再加载数据。 create table if not exists a like b insert into a select * from b ...
Hive从一张表插入另一张表
热门推荐
书生的日常
05-13 1万+
Hive由于存在分区，所以当其需要从一张表迁移到另一张表的数据时，SQL要考虑分区问题。 如果仅仅从一个日期写入另一个日期，可以直接执行以下HQL命令 insert overwrite table table_name1 PARTITION (statis_date='${statisdate}') select gds_cd1,gds_cd2,co_appear from table_name2 where statis_date='${statisdate}'; 然而，很多时候我们选取的日期往往并不
hive中的表操作
m0_61466268的博客
04-30 2853
1，hive概述 Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把job放 在HDFS上处理该文件。 Hive最适合用于数据仓库程序，使用该应用程序是进行静态数据分析，不需要快速响应结果，而且数据 本身不会频繁变化，其设计的目的是为了精通sql但是对Java编程相对较弱的分析
Hive基础之创建表
xjjdlut的专栏
02-26 456
hive创建表的语法参考如下网址：Create/Drop/Truncate Table 1.创建基础表 在这个网页里详细记录了创建表的每个语法，下面就一一来看这些创建表的语法内容： CREATE TABLE [IF NOT EXISTS] [db_name.]table_name ``[(col_name data_type [COMMENT col_comment], ... [c...
Hive基本介绍(1)
weixin_45492179的博客
08-12 2549
Hive基本介绍1Hive基本概念Hive的意义是什么Hive可以对数据进行存储与计算Hive缺点Hive的内部组成架构 Hive基本概念 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算 存储使用HDFS存储 计算使用MapReduce进行计算 Hive的特性 1、扩展
hive表分区的概念 PARTITION
07-08
具体来说，以下是关于Hive表分区的一些概念和特点： 1. 分区列（Partition Column）：分区列是表中用于进行分区的列。通常选择具有高基数（Distinct Value）的列作为分区列，以便更好地划分数据并提高查询性能。 2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值