Hive编程指南学习01

最新推荐文章于 2024-02-22 09:20:29 发布
最新推荐文章于 2024-02-22 09:20:29 发布
阅读量2.5k 收藏 1
点赞数 2
分类专栏： Hadoop+Spark+Hive 文章标签： hadoop hive
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/weixin_46322367/article/details/123828528
版权

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

文章目录

启动

cd hadoop-2.7.3/sbin
./start-all.sh
cd hive/bin
hive --service metastore &
hive

hive> show databases;
OK
default
law
test
Time taken: 1.435 seconds, Fetched: 3 row(s)

数据类型和文件格式

基本数据类型

数据类型长度例子
TINYINT1byte有符号整数20
SMALINT2byte有符号整数20
INT4byte有符号整数20
BIGINT8byte有符号整数20
BOOLEAN布尔类型,true或falseTRUE，FALSE
FLOAT单精度浮点数3.14159
DOUBLE双精度浮点数3.14159
STRING字符序列‘I LEARN HIVE’，“i will do it good”
TIMESTAMP(v0.8.0+)整数，浮点数或字符串1327882394(Unix新纪元秒) ，‘2012-02-03 12:34:56.123456789‘ （JDBC所兼容的java.sql.Timestamp时间格式）
BINARY(v0.8.0+)字节数组

将一个字符串类型的列转换为数值

...cast(s AS INT) ...;

集合数据类型

数据类型描述字面语法示例
STRUCT和C语言中的struct或者对象类似，都可以通过点符号访问元素内容。例如，如果某个列的数据是STRUCT{first STRUCT,last STRING} ，那么第一个元素可以通过 字段名.first来引用struct(‘John’,‘Doe’)
MAPMAP是一组键-值对元组集合，使用数组表示法（例如[‘key’]）可以访问元素。例如，如果某个列的数据类型是MAP，其中键值对是’first’->‘John’和’last’->‘Doe’，那么可以通过 字段名[‘last’] 获取最后一个元素map(‘first’,‘JOIN’,‘last’,Doe’)
ARRAY第二个元素可以通过 数组名[1]进行引用Array(‘John’,‘Doe’)

HiveQL：数据定义

Hive中的数据库

hive> SHOW DATABASES;
OK
default
law
test
Time taken: 0.187 seconds, Fetched: 3 row(s)
hive> CREATE DATABASE human_resources;
OK
Time taken: 3.035 seconds
hive> SHOW DATABASES;
OK
default
human_resources
law
test
Time taken: 0.031 seconds, Fetched: 4 row(s)

列举出所有以字母h开头，以其它字符结尾的数据库名

hive> SHOW DATABASES LIKE 'h.*';
OK
human_resources
Time taken: 0.057 seconds, Fetched: 1 row(s)

Hive会为每一个数据库创建一个目录，默认存储路径应该为/user/hive/warehouse数据库的文件目录名是以.db结尾
可以通过如下命令来修改这个默认的位置：
注意这个存储路径是在HDFS上

hive> CREATE DATABASE test1
    > LOCATION '/home/xwk/software';
OK
Time taken: 0.191 seconds

为数据库增加一个描述信息

hive> DROP DATABASE test1;
OK
Time taken: 2.603 seconds
hive> CREATE DATABASE test1
    > COMMENT 'THIS IS A TEST DATABASE';
OK
Time taken: 0.148 seconds
hive> DESCRIBE DATABASE test1;
OK
test1	THIS IS A TEST DATABASE	hdfs://192.168.10.20:8020/user/hive/warehouse/test1.db	root	USER	
Time taken: 0.025 seconds, Fetched: 1 row(s)

还可以为数据库增加一些和其相关的键值对信息

hive> CREATE DATABASE test1
    > WITH DBPROPERTIES('creator'='Weikun Xing','date'='2022-03-29');
OK
Time taken: 0.121 seconds
hive> DESCRIBE DATABASE test1;
OK
test1		hdfs://192.168.10.20:8020/user/hive/warehouse/test1.db	root	USER	
Time taken: 0.023 seconds, Fetched: 1 row(s)
hive> DESCRIBE DATABASE EXTENDED test1;
OK
test1		hdfs://192.168.10.20:8020/user/hive/warehouse/test1.db	root	USER	{date=2022-03-29, creator=Weikun Xing}
Time taken: 0.022 seconds, Fetched: 1 row(s)

USE命令用于将某个数据库设置为用户当前的工作数据库，和在文件系统中切换工作目录是一个概念。

hive> USE test1;
OK
Time taken: 0.064 seconds

显示当前数据库下所有的表

hive> SHOW TABLES;
OK
Time taken: 0.317 seconds

因为我没有创建表，所以这里没有返回表。

可以设置一个属性值来在提示符里面显示当前所在的数据库

hive> set hive.cli.print.current.db=true;
hive (test1)> set hive.cli.print.current.db=false;
hive>

删除数据库

hive> DROP DATABASE IF EXISTS test1;
OK
Time taken: 0.134 seconds

IF EXISTS子句是可选的，加了这个子句就可以避免因数据库不存在而抛出警告信息。

默认情况下，Hive是不允许用户删除一个包含有表的数据库的，用户要么先删除数据库中的表，然后再删除数据库；要么在删除命令最后面加上关键字CASCADE,这样可以使Hive先自行删除数据库中的表:

hive> CREATE DATABASE test1;
OK
Time taken: 0.123 seconds
hive> USE test1;
OK
Time taken: 0.024 seconds
hive> CREATE TABLE People(id int,name string);
OK
Time taken: 2.476 seconds
hive> DROP DATABASE test1;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database test1 is not empty. One or more tables exist.)
hive> DROP DATABASE test1 CASCADE;
OK
Time taken: 1.41 seconds

修改数据库

用户可以使用ALTER DATABASE命令为某个数据库的DBPROPERTIES设置键值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名称和数据库所在的目录位置:

hive> CREATE DATABASE test;
OK
Time taken: 0.047 seconds
hive> ALTER DATABASE test SET DBPROPERTIES('edit-by'='Weikun Xing')
    > ;
OK
Time taken: 0.2 seconds

创建表

hive> CREATE TABLE IF NOT EXISTS employees(
    > name STRING COMMENT 'Employee name',
    > salary FLOAT COMMENT 'Employee salary',
    > subordinates ARRAY<STRING> COMMENT 'Names of subordinates',
    > deductions MAP<STRING,FLOAT> COMMENT 'Keys are deductions names,values are percentages',
    > address STRUCT<street:STRING,city:STRING,state:STRING,zip:INT> COMMENT 'Home address')
    > COMMENT 'Description of the table'
    > LOCATION '/user/hive/warehouse/mydb.db/employees'
    > TBLPROPERTIES ('creator'='me','created_at'='2022-03-29 20:14:00');
OK
Time taken: 0.353 seconds

用户还可以拷贝一张已存在的表的表模式（而无需拷贝数据）

hive> CREATE TABLE IF NOT EXISTS employees2
    > LIKE employees;
OK
Time taken: 0.273 seconds

这里还可以接受可选的LOCATION语句，但是其他属性，包括模式，都是不可能重新定义的，这些信息直接从原始表获得。

列举出数据库下所有的表

hive> SHOW TABLES;
OK
employees
employees2
Time taken: 0.041 seconds, Fetched: 2 row(s)
hive> USE test;
OK
Time taken: 0.024 seconds
hive> SHOW TABLES IN mydb;
OK
employees
employees2
Time taken: 0.047 seconds, Fetched: 2 row(s)

列出以2结尾的表

hive> SHOW TABLES IN mydb LIKE '*.2';
OK
employees2
Time taken: 0.048 seconds, Fetched: 1 row(s)

查看表的详细表结构信息

hive> DESCRIBE EXTENDED employees;

在这里插入图片描述

hive> DESCRIBE employees;
OK
name                	string              	Employee name       
salary              	float               	Employee salary     
subordinates        	array<string>       	Names of subordinates
deductions          	map<string,float>   	Keys are deductions names,values are percentages
address             	struct<street:string,city:string,state:string,zip:int>	Home address        
Time taken: 0.098 seconds, Fetched: 5 row(s)

hive> DESCRIBE FORMATTED employees;

在这里插入图片描述

删除表

hive> DROP TABLE employees2;
OK
Time taken: 15.599 seconds

修改表

表重命名

hive> ALTER TABLE employees RENAME TO emp;
OK
Time taken: 2.556 seconds

增加列

hive> ALTER TABLE emp ADD COLUMNS(
    > app_name STRING COMMENT 'App name');
OK
Time taken: 1.515 seconds
hive> DESCRIBE emp;
OK
name                	string              	Employee name       
salary              	float               	Employee salary     
subordinates        	array<string>       	Names of subordinates
deductions          	map<string,float>   	Keys are deductions names,values are percentages
address             	struct<street:string,city:string,state:string,zip:int>	Home address        
app_name            	string              	App name            
Time taken: 0.059 seconds, Fetched: 6 row(s)

删除或者替换列

hive> ALTER TABLE emp REPLACE COLUMNS(
    > name STRING COMMENT 'Employee name',
    > salary FLOAT COMMENT 'Employee salary');
OK
Time taken: 0.592 seconds
hive> DESCRIBE emp;
OK
name                	string              	Employee name       
salary              	float               	Employee salary     
Time taken: 0.046 seconds, Fetched: 2 row(s)

修改表属性
可以附加或者修改已存在的属性，但是无法删除属性

hive> ALTER TABLE emp SET TBLPROPERTIES(
    > 'creator'='Weikun Xing');
OK
Time taken: 0.231 seconds
数据攻城小狮子
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive编程指南中文
08-01
《Hive编程指南》是一本Apache Hive的编程指南 旨在介绍如何使用Hive的SQL方法 HiveQL来汇总 查询和分析存储在Hadoop分布式文件系统上的大数据集合 全书通过大量的实例 首先介绍如何在用户环境下安装和配置Hive 并对Hadoop和MapReduce进行详尽阐述 最终演示Hive如何在Hadoop生态系统进行工作 ">《Hive编程指南》是一本Apache Hive的编程指南 旨在介绍如何使用Hive的SQL方法 HiveQL来汇总 查询和分析存储在Hadoop分布式文件系统上的大数据集合 全书通过大量的实例 首先介绍如何在用户环境下安装和配置Hive 并对Hadoop [更多]
Hive-常用操作
大头皮鞋的博客
11-29 5296
前提条件： 安装好hadoop2.7.3（Linux系统下），参考：Ubuntu下安装Hadoop 安装好hive2.3.6（Linux系统下），参考：安装Hive 准备源数据： 1. 打开终端，新建emp.csv文件 $ nano emp.csv 输入内容如下，保存退出。 7369,SMITH,CLERK,7902,1980/12/17,800,,20 7499,ALLE...
Hive代码分析报告（一）：Hive安装使用、代码分析工作概述
weixin_45846560的博客
09-30 550
2021SC@SDUSC Hive介绍 Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能（HQL）。其本质是将类SQL语句转化为MapReduce程序，从而避免了去写 MapReduce程序，减少开发人员的学习成本。 Hive的安装部署 安装环境 使用VMware，Linux系统为CentOS-7 安装步骤 1.安装hive的前提准备： 提前在Linux系统中安装配置jdk、Hadooop、MySql 2.Hadoop
Hive：第 6 章 查询
m0_51755061的博客
06-03 1269
查询1. 基本查询（Select…From）1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit 语句1.6 Where 语句1.7 比较运算符（Between/In/ Is Null）1.8 Like 和 RLike1.9 逻辑运算符（And/Or/Not）2. 分组2.1 Group By 语句2.2 Having 语句3. Join 语句3.1 等值 Join3.2 表的别名3.3 内连接3.4 左外连接3.5 右外连接3.6 满外连接3.7 多表连接3.8 笛卡
hive编程
weixin_46680124的博客
09-15 1293
处理压缩文件
Hive编程指南
02-22
这是大数据部分hive学习的编程指南，欢迎下载
hive的类型转换
不爱吃鱼的馋猫
12-01 740
hive的类型转换 Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作。 1.隐式类型转换规则如下 （1）任何整数类型都可以隐式地转换为一个范围更广的类型，如TINYINT可以转换成INT，INT可以转换成BIGINT。 （2）所有整数类型、FLOAT和STRING类型都可以隐式地转
《Hive》编程指南——知识记录
最新发布
爱吃辣条的博客
02-22 899
《Hive》编程指南——知识记录
hive的查询注意事项以及优化总结 .
weixin_33836874的博客
06-20 730
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则： 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段 select ... from A join B ...
Hive编程实践
wr456wr的博客
06-09 4987
Hive基础编程实践
【大数据】Java同学入门Hive编程 —— 简介和入门操作
陌北有棵树的博客
08-23 620
【一】简介 承接上文《Java后端同学入门Spark编程》，对于日常的数据需求来说，熟悉Hive是一项必备的技能，因为很多日常的数据导出是不需要Spark任务的，跑一个HiveQL就可以完成，但秉承着知其然还要知其所以然的目的，我们首先来了解一下Hive相关的知识，然后熟悉一些日常HiveQL中可能用到的函数。 Hive用来作为原始数据和转换后数据的存储，简化ETL。 首先给出官方对于Hive的定...
Hive SQL 练习
雾岛与鲸的博客
09-04 1352
目录题目1 题目1 表student中的数据格式如下： name month degree s1 201801 A s1 201802 A s1 201803 C s1 201804 A s1 201805 A s1 201806 A s2 201801 A s2 201802 B s2 201803 C s2 201804 A s2 201805 D s2 201806 A s3 201801 C s3 201802 A s3 201803 A s3 201804 A s3 201805 B s3 201
【HQL】Hive 编程指南
每天更新大数据面经和技术
05-02 826
  下面总结了 Hive 编程的一些初级知识。欢迎关注公众号回复 803 获取 pdf。 1.Hive 的数据类型 CSDN：Hive 的数据类型 公众号：Hive 的数据类型 2.Hive 库和表的创建、修改、删除 CSDN：Hive 库和表的创建、修改、删除 公众号：Hive 库和表的创建、修改、删除 3.Hive 的数据装载和导出 CSDN：Hive 的数据装载和导出 公众号：Hive 的数据装载和导出 4.Hive 的常用函数 CSDN：Hive 的常用函数 公众号：Hive 的常用函数 5.Hiv
Hive保姆级教程(万字长文，建议收藏)
浅谈
05-22 2799
Hive的设计原理、Hive的分区设计、Hive的DDL和DML、Hive中常见的函数以及自定义函数、Hive的Join、Hive的窗口函数和分析函数、Hive的优化、数据仓库的设计、
Hive编程指南PDF
黑煤球的博客
09-09 2209
Hive编程指南PDF下载 含目录 链接: https://pan.baidu.com/s/1nVbkzfiQ5nwn7t1kxHNDJg 提取码: 53kh
Hive编程(一)【基础知识】
极客神殿
11-30 3369
Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言，来查询存储在Hadoop集群中的数据。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合数据仓库应用程序。使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,且数据本身不会频繁变化。Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性的限制了Hive所能胜任的工作。
Hive编程指南：从入门到精通
Hive编程指南 本书《Programming Hive》是学习Hive编程的绝佳选择，旨在带领读者由入门逐渐深入学习Hive技术。下面是本书的知识点总结： 1. Hive简介 Hive是一个基于Hadoop的数据仓库工具，使用SQL语句来查询和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据攻城小狮子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值