hive往分区表里插入数据之后查不到_Hive入门实战（三）DML数据操作

最新推荐文章于 2024-05-14 08:20:09 发布
最新推荐文章于 2024-05-14 08:20:09 发布
阅读量3.3k 收藏 6
点赞数
文章标签： hive往分区表里插入数据之后查不到
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32042331/article/details/113626747
版权

ba3368fab619139cc310a2b36a36cf17.png

一、Hive数据操作---DML数据操作

1、数据导入

第一种方式：向表中装载数据（Load）

//语法
hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];
  • load data:表示加载数据
  • local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表
  • inpath:表示加载数据的路径
  • overwrite:表示覆盖表中已有数据，否则表示追加
  • into table:表示加载到哪张表
  • student:表示具体的表
  • partition:表示上传到指定分区

操作步骤：

（1）创建一张数据表student5

hive (default)> create table student5(id int, name string)
              > row format delimited fields terminated by 't';
              
OK
Time taken: 0.114 seconds
hive (default)>

（2）加载本地文件到hive

hive (default)> load data local inpath '/usr/local/hadoop/module/datas/student.txt' into table default.student5;

Loading data to table default.student5
Table default.student4 stats: [numFiles=1, totalSize=39]
OK
Time taken: 0.378 seconds
hive (default)>

（3）加载数据覆盖表中已有的数据

hive (default)> load data local inpath '/usr/local/hadoop/module/datas/student.txt' overwrite   into table default.student5;

Loading data to table default.student5
Table default.student5 stats: [numFiles=1, numRows=0, totalSize=39, rawDataSize=0]
OK
Time taken: 0.461 seconds
hive (default)> 

//之后，再查询这张表，有数据
hive (default)> select * from student5;

OK
student4.id	student5.name
1001	zhangshan
1002	lishi
1003	zhaoliu
Time taken: 0.102 seconds, Fetched: 3 row(s)
hive (default)> 

//再加载一次（加载本地文件到hive）
hive (default)>  load data local inpath '/usr/local/hadoop/module/datas/student.txt' into table default.student5;

Loading data to table default.student5
Table default.student5 stats: [numFiles=2, numRows=0, totalSize=78, rawDataSize=0]
OK
Time taken: 0.426 seconds
hive (default)> 


//再查询这张表，数据有所增加（原本3条，现在6条）
hive (default)> select * from student5;

OK
student5.id	student5.name
1001	zhangshan
1002	lishi
1003	zhaoliu
1001	zhangshan
1002	lishi
1003	zhaoliu
Time taken: 0.099 seconds, Fetched: 6 row(s)
hive (default)> 


//若执行，加载数据覆盖表中已有的数据，（本来6条数据会被覆盖）
hive (default)> load data local inpath '/usr/local/hadoop/module/datas/student.txt' overwrite   into table default.student5;

Loading data to table default.student5
Table default.student5 stats: [numFiles=1, numRows=0, totalSize=39, rawDataSize=0]
OK
Time taken: 0.479 seconds
hive (default)> 

hive (default)> select * from student5;
OK
student5.id	student5.name
1001	zhangshan
1002	lishi
1003	zhaoliu
Time taken: 0.102 seconds, Fetched: 3 row(s)
hive (default)>

（4）我们需要上传student.txt到HDFS到根目录，执行命令如下：

[root@hadoop101 ~]# cd /usr/local/hadoop/module/datas/
[root@hadoop101 datas]# hadoop fs -put student.txt /
[root@hadoop101 datas]#

d47e6a9c9fd1d47303233e27d5856126.png

从HDFS的根目录加载本地文件到hive

hive (default)> load data  inpath '/student.txt' into table default.student5;

Loading data to table default.student5
Table default.student5 stats: [numFiles=2, numRows=0, totalSize=78, rawDataSize=0]
OK
Time taken: 0.432 seconds
hive (default)> 

//查询一下数据信息（从下面得知，又多了3条数据）
hive (default)>  select * from student5;

OK
student5.id	student5.name
1001	zhangshan
1002	lishi
1003	zhaoliu
1001	zhangshan
1002	lishi
1003	zhaoliu
Time taken: 0.091 seconds, Fetched: 6 row(s)
hive (default)>

原本三条数据，现如今有6条，同时，再HDFS文件系统查看student.txt是否还存在

4ca5878f86b7ab4ddfe6a6647bcec48b.png

第二种方式：通过查询语句向表中插入数据（Insert）

操作步骤：

//查看当前的数据表中是否有分区表
hive (default)> show tables;

OK
tab_name
db_hive1
dept
dept_partition2
emp
hive_test
sqoop_test
stu2
stu_partition
student
student1
student3
student4
student5
Time taken: 1.484 seconds, Fetched: 13 row(s)
hive (default)> 

hive (default)> desc stu2;

OK
col_name	data_type	comment
id                  	int                 	                    
name                	string              	                    
month               	string              	                    
day                 	string              	                    
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
month               	string              	                    
day                 	string              	                    
Time taken: 0.69 seconds, Fetched: 10 row(s)
hive (default)>

由上，stu2是一个分区表，若没有分区表需要创建，创建sql命令如下：

hive (default)> create table student(id int, name string) partitioned by (month string) 
row format delimited fields terminated by 't';

自己本身有分区表就忽略过了。接着，需要向分区表（stu2）基本插入数据

hive (default)> insert into table stu2 partition(month='202006',day='26') values(1,'wangwu');

Query ID = root_20200102135829_bda9ac50-448a-4038-b617-33a3d1f448b4
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1577971593473_0001, Tracking URL = http://hadoop101:8088/proxy/application_1577971593473_0001/
Kill Command = /usr/local/hadoop/module/hadoop-2.7.2/bin/hadoop job  -kill job_1577971593473_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2020-01-02 13:58:52,919 Stage-1 map = 0%,  reduce = 0%
2020-01-02 13:59:05,561 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.8 sec
MapReduce Total cumulative CPU time: 2 seconds 800 msec
Ended Job = job_1577971593473_0001
Stage-4 is selected by condition resolver.
Stage-3 is filtered out by condition resolver.
Stage-5 is filtered out by condition resolver.
Moving data to: hdfs://hadoop101:9000/user/hive/warehouse/stu2/month=202006/day=26/.hive-staging_hive_2020-01-02_13-58-29_834_7263697218847751236-1/-ext-10000
Loading data to table default.stu2 partition (month=202006, day=26)
Partition default.stu2{month=202006, day=26} stats: [numFiles=1, numRows=1, totalSize=9, rawDataSize=8]
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   Cumulative CPU: 2.8 sec   HDFS Read: 3660 HDFS Write: 97 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 800 msec
OK
_col0	_col1
Time taken: 38.147 seconds

再次查询stu2表

hive (default)> select * from stu2;

OK
stu2.id	stu2.name	stu2.month	stu2.day
1001	zhangshan	202006	23
1002	lishi	202006	23
1003	zhaoliu	202006	23
1	wangwu	202006	26
Time taken: 0.336 seconds, Fetched: 4 row(s)
hive (default)> 

//允许插入重复的数据
hive (default)> insert into table stu2 partition(month='202006',day='26') values(1,'wangwu');

hive (default)> select * from stu2;
OK
stu2.id	stu2.name	stu2.month	stu2.day
1001	zhangshan	202006	23
1002	lishi	202006	23
1003	zhaoliu	202006	23
1	wangwu	202006	26
1	wangwu	202006	26
Time taken: 0.112 seconds, Fetched: 5 row(s)
hive (default)>

bbbe24ca2415a0d064ac7aac67114c6e.png

基本模式插入（根据单张表查询结果）

hive (default)> insert into table stu2 partition(month=202006,day=29)
              > select * from student;

46f3c144938010d9e7bc624829929afc.png

第三种方式：查询语句中创建表并加载数据（As Select）

根据查询结果创建表（查询的结果会添加到新创建的表中）

create table if not exists student3
as select id, name from student;

第四种方式：创建表时通过Location指定加载数据路径

（1）创建一张表

hive (default)> create table student2 like student; 
OK
Time taken: 0.247 seconds
hive (default)>

d6aa39f674331a79de98de2cb0d5e41c.png

接着，在本地的/usr/local/hadoop/module/datas/student.txt上传到HDFS文件系统到/user/hive/warehouse/student2下

hive (default)> dfs -put /usr/local/hadoop/module/datas/student.txt /user/hive/warehouse/student2 ;

61b917426c378c6d7baf0fdd846a04e3.png

student2这张表是可以查询到数据的

hive (default)> select * from student2;

OK
student2.id	student2.name	student2.age
1001	zhangshan	NULL
1002	lishi	NULL
1003	zhaoliu	NULL
Time taken: 0.081 seconds, Fetched: 3 row(s)
hive (default)>

接着，在HDFS文件系统的/user目录下创建一个MrZhou文件夹

hive (default)> dfs -mkdir -p /user/MrZhou;
hive (default)>

6068325045625822aafd9b55a87cc017.png

接着，把本地的文件（usr/local/hadoop/module/datas/student.txt）上传到HDFS文件系统(user/MrZhou)文件目录下

hive (default)> dfs -put  /usr/local/hadoop/module/datas/student.txt /user/MrZhou；
hive (default)>

接着，当我们创建一个新数据表，需要指定创建的这个文件路径，后面查询还是可以拿到数据的

hive (default)> create table student6 like student
              > location '/user/MrZhou';
              
OK
Time taken: 0.181 seconds
hive (default)> 
hive (default)> select * from student6;

OK
student6.id	student6.name	student6.age
1001	zhangshan	NULL
1002	lishi	NULL
1003	zhaoliu	NULL
Time taken: 0.118 seconds, Fetched: 3 row(s)
hive (default)>

第五种方式：Import数据到指定Hive表中

hive (default)> import table student from  '/user/MrZhou';
FAILED: SemanticException [Error 10027]: Invalid path
hive (default)> 

//上述错误说，导入路径不可用

2、数据导出

（1） Insert导出 （将查询的结果导出到本地）

hive (default)>  insert overwrite local directory '/usr/local/hadoop/module/datas/stu1'
              > select * from student;
              
Query ID = root_20200102224956_684283c4-a161-44d6-883e-b888b0b1e5d7
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1577971593473_0006, Tracking URL = http://hadoop101:8088/proxy/application_1577971593473_0006/
Kill Command = /usr/local/hadoop/module/hadoop-2.7.2/bin/hadoop job  -kill job_1577971593473_0006
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2020-01-02 22:50:09,422 Stage-1 map = 0%,  reduce = 0%
2020-01-02 22:50:19,536 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.41 sec
MapReduce Total cumulative CPU time: 1 seconds 410 msec
Ended Job = job_1577971593473_0006
Copying data to local directory /usr/local/hadoop/module/datas/stu1
Copying data to local directory /usr/local/hadoop/module/data
最低0.47元/天 解锁文章
论智
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
oracle 视图创建索引_Hive表分区与索引
weixin_39622150的博客
11-19 235
hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段； partitioned by (dt String,country string); create table pt_test(ts bigint,line string) partitioned by ...
【Hive】msck repair-解决动态分区查询不到数据
Sunny的专栏
03-01 3026
0、背景 在Hive的表建立了动态分区，手动复制文件或者Spark写数据到分区中，而且设置了参数但是还查询不到该分区数据。这时你应该需要执行MSCK REPAIR TABLE命令来刷新Hive的metastore数据 一、作用 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等
解决datax写入hdfs到hive查不到数据
最新发布
linweidong的专栏
05-14 413
命令可以查看到文件，但是在Hive中查询数据为空。atax写入到Hive表的过程中。datax日志显示成功，使用。把上面的表修改为非分区表，再次写入时果然有数据了。
hive表数据文件存在子目录的情况，查询不到数据
hzp666的博客
02-22 1584
解决方案： 1.对于分区表，数据文件上层目录非分区目录，增加参数：spark.sql.sources.readPartitionWithSubdirectory.enabled=true 2.对于非分区表，数据文件上层目录非表目录，增加参数：spark.sql.nonPartitionedTable.subdirectory.read.enabled=true ...
hive插入表数据以及出现问题的解决
u014657468的博客
12-02 8227
表结构 create table tableName ( field1 string, field2 string, field3 string, field4 string, field5 string ) 插入hive中使用的格式如下： 插入一行（不带字段名） insert into tableName values(‘x1’,‘x2’,‘x3’,‘x4’,‘x5’) 插入一行（带字段名） ...
hive 查询不出数据（排队，很慢）
不积跬步，无以至千里；不积小流，无以成江海。
09-23 1294
yarn application 查看情况 yarn application 1、-list 列出所有 application 信息 示例：yarn application -list 2、-appStates <States> 跟 -list 一起使用，用来筛选不同状态的 application，多个用","分隔； 所有状态：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,
Hive数据仓库分桶表分区未显示分区的数据
大数据的菜????
11-30 3272
Hive 数据仓库
Hive之DML数据操作
01-07
Hive简介：https://blog.csdn.net/weixin_45102492/article/details/104418259 Hive安装部署 ： https://blog.csdn.net/weixin_45102492/article/details/104418666 Hive数据类型： ...Hive
大数据 hive 实战数据
04-07
在大数据处理领域，Hive是一个极其重要的工具，它被广泛应用于大数据分析和数据仓库操作。本实战数据集主要涉及两个核心部分：`video`数据和`user`数据，这些都是构建大数据分析模型的基础元素。让我们深入探讨一下...
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
HIVE实战测试数据，HIVE实战测试数据
08-07
在大数据处理领域，Apache HIVE 是一个非常重要的组件，它为海量数据提供了SQL查询和管理功能，使得非编程背景的用户也能对大数据进行分析。本文将深入探讨HIVE的实战测试数据及其应用。 Hive是基于Hadoop的数据...
Hive实战模拟电商数据
01-23
在大数据领域，Hive是一个非常重要的工具，尤其在处理电商数据时，它...通过本次实战模拟，你将掌握Hive在处理电商数据中的核心应用，了解如何从数据加载到分析、优化的全过程，为实际工作中的大数据分析奠定坚实基础。
[hive]外部分区表结构变更后查询为空问题解决
loaDforK的抄抄写写
04-21 955
0X00 前提 数仓技术选型：hive+sqoop1.4.4 场景：数仓中ods增量表由于上游db表变更缘故，需要对应地增加两个字段，一般使用alter table table_name add columns(column_name type comment '');的方式来直接在hive中增加字段。但由于上下游之间信息传达、沟通不到位，导致在上游db的源表已经增加表字段数天后，数仓相关部门才收...
HDFS数据块损坏导致的Hive数据查询失败案例
weixin_46325773的博客
10-11 1915
hdfs块损坏导致hive执行查询、删除问题时报错。 问题1：hive中无法查询表中的数据信息，但是可以展示表结构等信息。 在hive中建立表，显示表信息均显示成功，部分信息如下： 展示表成功： show tables; 展示表属性成功： describe test; 插入表数据失败： insert into test values("hello"); 查询的时候也报错,报错信息如下所示： select* from test; 这可是真的奇怪，冷静下来想想，查看了最开始插入语句的错误信息，发现
分区表无法查询手动put进hdfs的数据问题
men子烦高的烂笔头
12-11 3382
向hive表对应hdfs中新建目录，put数据后，在hive命令行查询，查不到put进分区的数据，下面记录处理方法： 分区既然是HDFS目录，那就可以通过hdfs put命令直接向HDFS添加分区。然而，元存储拥有所有表的元数据，它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自动地更新元存储来恢复分区。如果基
Hive 1.1.0分区表新增字段后，数据为空的解决办法
风在身后的专栏
05-05 2127
如果使用alter table add column语句对分区表增加字段时没有使用cascade关键字，会导致Hive只维护了表的元数据，而没有分区的元数据。 现象就是，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没有数据。 起初，我以为是BUG，但是查看了官方文档发现并不是BUG。 官方文档描述如下： The CASCADE|RESTRICT c...
load加载本地数据到hive数据库后查询数据为NULL
justinzwd的博客
05-11 2822
hive> show databases; OK default Time taken: 1.867 seconds, Fetched: 1 row(s) hive> use default; OK Time taken: 0.067 seconds hive> show tables; OK student Time taken: 0.072 seconds, Fetched:...
hive表中有对应数据，写sql却查不出来结果
zsyoung的博客
12-30 7501
hive表中有对应数据，写sql却查不出来结果遇到问题原因解决方案 遇到问题 查询hive表时，明明sql中字段在表中有对应数据，但是却一直查不出来数据。 原因 sql中有longitude!=’’ and latitude!=’’，其中longitude和latitude都是float类型，不支持这样判断是否为空 另外，sql中float类型变量不能通过&quot;=&quot;比较大小是否相等, 而应该通过≥或≤...
hive建表数据查询select * from table为空
qq_51424089的博客
04-27 1734
在上大数据存储课进行hive实战时 遇到一些问题，就想着记录下来： 一、在hive建立表dept，从本地导入数据后，hive中查看数据为空： 解决方法： 1.进入root下本地文件(找到你自己文件放置的位置）输入vi dept.txt，进入文件后将分隔符空格都换为Tab键分隔 2.hive表中： drop table if exists dept；//删除表dept create table dept(…)row format delimited fields terminated by ‘\t’;

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值