hive创建四种表

最新推荐文章于 2024-09-05 12:30:40 发布
最新推荐文章于 2024-09-05 12:30:40 发布
阅读量6.7k 收藏 16
点赞数 1
分类专栏： Bigdatda-Hive 文章标签： hive创建四种表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baolibin528/article/details/44059481
版权

hive创建四种表

 

内部表、分区表、桶表、外部表

 

1、 内部表：

待上传的内容：

创建一个tb1表，两个字段之间用Tab键隔开：

执行命令：CREATE TABLE tb1(name string,id int) ROW FORMATDELIMITED FIELDS TERMINATED BY '\t';

 

hive> CREATE TABLE tb1(name string,idint) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

OK

Time taken: 8.016 seconds

hive>

 

加载数据到tb1表中：

执行命令：LOAD DATA LOCAL INPATH '/home/hadoop/hive' INTOTABLE tb1;

 

hive> LOAD DATA LOCAL INPATH'/home/hadoop/hive' INTO TABLE tb1;

Copying data from file:/home/hadoop/hive

Copying file: file:/home/hadoop/hive

Loading data to table default.tb1

OK

Time taken: 9.795 seconds

hive>

 

查询表中数据：

hive> select * from tb1;

OK

hadoop 1

hbase  2

hive   3

java   4

php    5

mahout 6

acm    7

Time taken: 2.871 seconds

hive>

 

网页数据：

 

 

2、分区表：

分区表用文件夹划分：

执行命令：CREATE TABLE tb2(id int) PARTITIONED BY (day int);

 

hive> CREATE TABLE tb2(id int)PARTITIONED BY (day int);

OK

Time taken: 0.548 seconds

hive>

 

往表中加载数据：

执行命令：LOAD DATA LOCAL INPATH '/home/hadoop/in' INTOTABLE tb2 PARTITION (day='3');

 

hive> LOAD DATA LOCAL INPATH'/home/hadoop/in' INTO TABLE tb2 PARTITION (day='3');

Copying data from file:/home/hadoop/in

Copying file: file:/home/hadoop/in

Loading data to table default.tb2 partition(day=3)

OK

Time taken: 4.64 seconds

hive> LOAD DATA LOCAL INPATH'/home/hadoop/in' INTO TABLE tb2 PARTITION (day='4');

Copying data from file:/home/hadoop/in

Copying file: file:/home/hadoop/in

Loading data to table default.tb2 partition(day=4)

OK

Time taken: 0.411 seconds

hive> LOAD DATA LOCAL INPATH'/home/hadoop/in' INTO TABLE tb2 PARTITION (day='5');

Copying data from file:/home/hadoop/in

Copying file: file:/home/hadoop/in

Loading data to table default.tb2 partition(day=5)

OK

Time taken: 0.516 seconds

hive>

 

执行命令：select * from tb2 where day=3;

查看day=3的值：

hive> select * from tb2 where day=3;

OK

1      3

12     3

123    3

1234   3

12345  3

Time taken: 2.062 seconds

hive>

 

网页：

点击day=3进去查看内容：


 

 

3、桶表：


先创建一个内部表，并把数据加载进去：

hive> CREATE TABLE t0(id int);

OK

Time taken: 10.418 seconds

 

hive> LOAD DATA LOCAL INPATH'/home/hadoop/in' INTO TABLE t0;

Copying data from file:/home/hadoop/in

Copying file: file:/home/hadoop/in

Loading data to table default.t0

OK

Time taken: 1.145 seconds

hive>

Hive的sql会转换为mapreduce的job来运行：

hive> select id from t0;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks is set to 0 sincethere's no reduce operator

Starting Job = job_201503032013_0004,Tracking URL = http://baolibin:50030/jobdetails.jsp?jobid=job_201503032013_0004

Kill Command =/usr/hadoop/libexec/../bin/hadoop job -Dmapred.job.tracker=192.168.1.100:9001 -kill job_201503032013_0004

Hadoop job information for Stage-1: numberof mappers: 1; number of reducers: 0

2015-03-03 20:32:38,057 Stage-1 map =0%,  reduce = 0%

2015-03-03 20:33:06,242 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:07,790 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:08,849 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:09,953 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:10,989 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:12,004 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:13,155 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:14,165 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:15,175 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:16,202 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:17,274 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.4 sec

2015-03-03 20:33:18,304 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.4sec

2015-03-03 20:33:19,715 Stage-1 map =100%,  reduce = 100%, Cumulative CPU 2.4sec

MapReduce Total cumulative CPU time: 2seconds 400 msec

Ended Job = job_201503032013_0004

MapReduce Jobs Launched:

Job 0: Map: 1   Cumulative CPU: 2.4 sec   HDFS Read: 210 HDFS Write: 20 SUCCESS

Total MapReduce CPU Time Spent: 2 seconds400 msec

OK

1

12

123

1234

12345

Time taken: 84.963 seconds

hive>

 

 

用文件划分：

用的时候很少，在表连接时候用：

执行命令：create table tb3(id int) clustered by(id) into 4 buckets;

 

hive> create table tb3(id int) clusteredby(id) into 4 buckets;

OK

Time taken: 0.34 seconds

hive>

 

启用桶：

   set hive.enforce.bucketing = true;

 

hive> set hive.enforce.bucketing = true;

hive>

 

 

加载进去要用mapreduce计算，LOAD不用mapreduce计算，所以LOAD加载不进去：

   insert into table tb3 select id from t0;

 

可以看到hive的sql会装换为mapreduce的job运行：

hive> insert into table tb3 select id from t0;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks determined atcompile time: 4

In order to change the average load for areducer (in bytes):

  sethive.exec.reducers.bytes.per.reducer=<number>

In order to limit the maximum number ofreducers:

  sethive.exec.reducers.max=<number>

In order to set a constant number ofreducers:

  setmapred.reduce.tasks=<number>

Starting Job = job_201503032013_0005,Tracking URL = http://baolibin:50030/jobdetails.jsp                                            ?jobid=job_201503032013_0005

Kill Command = /usr/hadoop/libexec/../bin/hadoopjob -Dmapred.job.tracker=192.168.1.100:                                            9001 -kill job_201503032013_0005

Hadoop job information for Stage-1: numberof mappers: 1; number of reducers: 4

2015-03-03 20:53:49,001 Stage-1 map =0%,  reduce = 0%

2015-03-03 20:55:37,605 Stage-1 map =0%,  reduce = 0%

2015-03-03 20:56:31,664 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:35,394 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:38,290 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:40,714 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:43,278 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:45,918 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:48,653 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:50,109 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:51,591 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:55,125 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:56:58,906 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:01,838 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:04,805 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:06,687 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:08,859 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:11,470 Stage-1 map =100%,  reduce = 0%, Cumulative CPU 2.79sec

2015-03-03 20:57:31,707 Stage-1 map =100%,  reduce = 33%, Cumulative CPU 2.79sec

2015-03-03 20:58:12,864 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 5.98sec

2015-03-03 20:58:28,741 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 5.98sec

2015-03-03 20:58:34,581 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 5.98sec

2015-03-03 20:58:44,953 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 20:58:52,075 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 20:58:58,370 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 20:59:07,524 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 20:59:18,044 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 20:59:38,184 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 7.68sec

2015-03-03 21:00:10,233 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 8.55sec

2015-03-03 21:00:36,173 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 8.55sec

2015-03-03 21:00:46,490 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 8.55sec

2015-03-03 21:00:51,949 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:00:55,549 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:00:57,653 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:00:59,096 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:01,123 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:05,167 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:12,514 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:15,956 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:17,942 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:21,971 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:24,931 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:27,857 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:36,741 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:41,436 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:01:50,578 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:02:25,276 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:02:28,493 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:02:31,903 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:02:33,695 Stage-1 map =100%,  reduce = 50%, Cumulative CPU 10.06sec

2015-03-03 21:02:50,396 Stage-1 map =100%,  reduce = 67%, Cumulative CPU 10.06sec

2015-03-03 21:03:20,686 Stage-1 map =100%,  reduce = 83%, Cumulative CPU 12.98sec

2015-03-03 21:03:34,343 Stage-1 map =100%,  reduce = 100%, Cumulative CPU12.98 sec

2015-03-03 21:04:16,332 Stage-1 map =100%,  reduce = 100%, Cumulative CPU12.98 sec

2015-03-03 21:05:03,443 Stage-1 map =100%,  reduce = 100%, Cumulative CPU16.15 sec

2015-03-03 21:05:17,439 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:20,714 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:22,186 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:24,029 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:26,798 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:28,645 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:30,733 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:33,056 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

2015-03-03 21:05:38,680 Stage-1 map =100%,  reduce = 100%, Cumulative CPU17.59 sec

MapReduce Total cumulative CPU time: 17seconds 590 msec

Ended Job = job_201503032013_0005

Loading data to table default.d2

Table default.d2 stats: [num_partitions: 0,num_files: 4, num_rows: 0, total_size: 40, raw_data_size: 0]

11 Rows loaded to d2

MapReduce Jobs Launched:

Job 0: Map: 1  Reduce: 4  Cumulative CPU: 17.59 sec   HDFSRead: 229 HDFS Write: 40 SUCCESS

Total MapReduce CPU Time Spent: 17 seconds590 msec

OK

Time taken: 873.793 seconds

hive>

 

网页：

查看具体值：




 

 

4、外部表：

 

执行命令：hadoop fs-put /home/hadoop/in /external/in

[root@baolibin ~]# hadoop fs -put/home/hadoop/in /external/in

Warning: $HADOOP_HOME is deprecated.

 

[root@baolibin ~]#

 

 

不用加载，自己就指定了数据在哪：

  执行命令： create externaltable tb4(id int) location '/external'; 

hive> create external table tb4(id int)location '/external';

OK

Time taken: 18.45 seconds

hive>

 

drop table tb4;   只删除表定义，数据文件还在

 

内部表、分区表、桶表都是 托管表，执行删除表命令，表定义和数据都被删除了。

 

 

 

礼彬fly
关注
专栏目录
hive创建S3外部表
zhengzaifeidelushang的博客
09-09 961
hive创建S3外部表 create table if not exists optics_pord.stuinfo( stuid bigint, name string, current_time timestamp ) PARTITIONED BY(datetime string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ","
Hive编程指南-表创建、内部表、外部表
Evankaka的专栏
02-10 5231
摘要：本文主要介绍了Hive创建表的一些知识，包含内部表、外部表、分区和分桶等。
hive实验 1.创建数据库，数据库名： db_experiment2.切换到创建好的数据库 db_experiment3.创建表：学生表（student）、课程表（course）、教师表（teac
qq_64134918的博客
03-25 2090
学生表（student）、课程表（course）、教师表（teacher）、分数表（score①学生表：学生id(stu_id)、学生姓名(stu_name)、出生日期(birthday)、性别(sex)②课程表：课程id(course_id)、课程名(course_name)、教师id(tea_id)③教师表：教师id(tea_id)、教师姓名(tea_name)④分数表：学生id(stu_id)、课程id(course_id)、分数(score)’,’textfile。
(7-9)hive创建4种表
鲍礼彬的CSDN博客 ~_~
04-29 1126
(7-9)hive创建4种表 --------------------------------------------- hive 的数据类型 -------------------------------------- ----------------------------- 1、管理表------------------------------------- 1.1、所有Tabl
Hive数据库与表操作全指南
qq_45115959的博客
09-05 2286
创建一个数据库，不指定路径注：若不指定路径，其默认路径为创建一个数据库，指定路径创建一个数据库，带有。
hive的四种表
weixin_38629422的博客
11-16 1381
内部表：创建表的时候默认把该表的数据，使用默认的组织方式，来存储在默认的仓库路径 create table student() 外部表:创建表的时候，数据已经在hdfs了，不是默认目录，需要在创建表的时候指定目录。适合多个team共同访问的数据 create external table student( ) row ...loaction "/aa/bb/cc" 删除表的时候 内部表：删除元数据也删除数据文件 外部表：删除元数据，不删除数据文件 分区表：表中数据一定...
hive 普通创建表和跟新列操作
weixin_30247307的博客
12-26 178
创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“'”,“;”这些，分号，hdfs认为...
hive 创建表_hive基础建表（1）
weixin_39974409的博客
11-19 1688
1、如何在虚拟机centou os上进入hive的编辑页面，并对其进行设置？#2、hive建表1）在创建表之前首先另起窗口建立student.txtvi students.txt进入后将数据录入，insert录入建，esc退出建，：wq保存并退出。2）创建表#1.创建数据库 hive>create database myhive1; #2.使用数据库 hive>use myhive1;...
【Hive】Hive 创建表
热门推荐
thatdanielyang的博客
10-16 1万+
学习笔记—Hive创建表 1. Hive语句的特点 HQL 语言大小写不敏感，但内容分大小写（where ,if/ case when，如：数据表内容某人名叫Tom，则条件后不能写tom，HDFS 路径名（NameNode）分大小写） ； HQL 可以写在一行或者多行， 关键字不能被缩写也不能分行，同 SQL； 各子句一般要分行写， 使用缩进提高语句的可读性，为了美化，同SQL； -- 为注释符号 ； Hive 不存储数据，他是表到HDFS文件的映射关系（语句）； 2. DDL 2.1 Hive的数据库DD
HIVE创建库创建表.docx
03-13
本实验旨在深入理解Hive的基本操作，包括创建数据库、内部表、外部表以及分区表，并通过实际操作来掌握这些概念。 首先，创建Hive数据库分为两种情况，即使用`location`和不使用`location`。当使用`location`关键字...
hive创建内部表
AAAiii_的博客
03-31 2718
内部表 理论 1.默认创建的表都是所谓的管理表，有时也被称为内部表。 2.因为这种表，Hive会（或多或少地）控制着数据的生命周期。 3.Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。 4. 当我们删除一个管理表时，Hive也会删除这个表中数据。 创建内部表 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_nam
hive根据已有表创建新表_Hive基础之创建表
weixin_39746282的博客
12-19 750
1.创建基础表在这个网页里详细记录了创建表的每个语法，下面就一一来看这些创建表的语法内容：CREATE TABLE [IF NOT EXISTS] [db_name.]table_name``[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]``[COMMENT table_comment][R...
Hive创建表
wanghuan524的博客
12-11 170
Hive创建表环境说明方式1方式2方式3 环境说明 OS ： CentOs 6.4 mysql version ： mysql-libs.zip 5.7.24 tips：Mysql和Hive安装在同一台Server上 方式1 如果表不存在则创建 create table IF not exists hive_test.name ( name string comment 'Your Name' ,...
Hive 建表
m0_56315670的博客
02-14 520
【代码】Hive 建表。
hive创建表
my blogs
05-23 340
--hive创建表 use database; drop table hello; create external table if not exists hello( a string, b string, c string )partitioned by (date string) row format delimited fields terminated by '\001' stored as sequencefile location 'base_path/hello';
Hive中的建表方式
weixin_59306821的博客
11-25 1886
hive中的建表语法，查看表结构方式
hive 使用方法-建表及导入导出数据(一)
岁月静好，做自己。
11-04 1460
1. 学习资料hive 官网： 不区分版本，所有信息都在一个文件汇总，会标记适合哪些版本 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL)一、基本使用法法 1) Create/Drop/Alter/Use Databasecreate database if not exists test_db;
作业4-8-18：hive命令（创建表、加载本地、hdfs文件数据）
Yummy的博客
04-10 878
一、创建表，并加载数据到表中。请执行如下hive命令，并将执行结果截图提交。 创建数据库myhive，使用数据库myhive 创建表student，包含学号,姓名，性别，年龄，专业等字段 加载本地数据到表student中 查询年龄在20岁以上的学生 查看student表的描述信息 二、加载HDFS上的数据到表中。请执行如下hive命令，并将执行结果截图提交。 创建本地文件test.txt 上传test.txt到HDFS的当前路径中
Hive入门基本：建表、增删查改
藏知阁
09-27 4366
最基本的建表语句： create table student( id string comment '学号', name string comment '姓名', sex string comment '性别', age string comment '年龄' ) comment '学生表'; show create table student; CREATE TABLE `student`(...
hive 创建 clickhouse 外部表
最新发布
09-19
在Hive中创建一个指向ClickHouse外部表的链接，通常是为了利用ClickHouse的数据存储能力和查询性能优势。Hive允许通过`CREATE EXTERNAL TABLE`命令引用其他数据源，如ClickHouse。以下是创建这样一个外部表的基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值