创建hive表和使用Load data指令导入数据的注意事项

最新推荐文章于 2024-05-25 11:16:40 发布
最新推荐文章于 2024-05-25 11:16:40 发布
阅读量7.1w 收藏 64
点赞数 14
分类专栏： Hadoop hive 文章标签： hdfs hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloxiaozhe/article/details/78442570
版权
hive 同时被 2 个专栏收录
49 篇文章 4 订阅
订阅专栏
Hadoop
25 篇文章 1 订阅
订阅专栏

创建hive表和使用Load data指令导入数据的注意事项

（一）创建hive数据库和表

1.1 类似于MySql创建命令，创建数据库和表，并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘

hive> CREATE DATABASE yyz_workdb;
hive> create external table test_user(
    > user_id     int     comment 'userID',
    > user_name     string     comment 'userName'
    > )
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/hive_hdfs_local_data';

1.1.1 默认记录和字段分隔符：
\n     每行一条记录
^A    分隔列（八进制 \001）
^B    分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔（八进制 \002）
^C    分隔MAP中键值对的“键”和“值”（八进制 \003）

1.1.2 自定义分隔符：

CREATE TABLE test(
    ……
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TERMINATED BY '\003'
LINES TERMINATED BY '\n'

1.1.3 查看信息：

hive> DESCRIBE DATABASE yyz_workdb;
OK
yyz_workdb		hdfs://localhost:9002/user/hive/warehouse/yyz_workdb.db	a6	USER
Time taken: 0.037 seconds, Fetched: 1 row(s)
hive> DESCRIBE DATABASE EXTENDED yyz_workdb;
OK
yyz_workdb		hdfs://localhost:9002/user/hive/warehouse/yyz_workdb.db	a6	USER
Time taken: 0.032 seconds, Fetched: 1 row(s)
hive> desc test_user;
OK
user_id             	int                 	userID
user_name           	string              	userName
Time taken: 0.069 seconds, Fetched: 2 row(s)
1.1.4 分区表： 
CREATE TABLE test(
    ……
)
PARTITIONED BY ( country STRING ); #分区键和字段不能重复

（二）加载数据，将本地或者hdfs上数据导入hive表

2.1 命令格式如下： 
LOAD DATA LOCAL INPATH '/path/to/local/files'
OVERWRITE  INTO TABLE test
PARTITION (country='CHINA')

有LOCAL表示从本地文件系统加载（文件会被拷贝到HDFS中）
无LOCAL表示从HDFS中加载数据（注意：文件直接被移动！！！而不是拷贝！！！ 并且。。文件名都不带改的。。）
OVERWRITE  表示是否覆盖表中数据（或指定分区的数据）（没有OVERWRITE  会直接APPEND，而不会滤重!）
此外，如果加载同样文件名的文件，会被自动重命名：

（三）测试命令如下：加载数据，将本地或者hdfs上数据导入hive表

1. 建表：创建表，并指定它在hdfs上的存储数据的目录 
create external table test_user(
user_id     int     comment 'userID',
user_name     string     comment 'userName' 
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/hive_hdfs_local_data';
2.准备数据：
2.1 在本地创建一个存储数据的文本文件，准备上传，内容如下： 
localhost:hdfs_local_data a6$ more user_info.txt 
2014001 小王1
2014002 小李2
2014003 小明3
2014004 阿狗4
2014005 姚明5
2.2 创建写入追加文件，内容如下： 
localhost:result_data a6$ more user_info_overwrite.txt
2014006 小王6
2014007 小李7
3.本地导入数据： 向刚刚创建的空表中导入数据， 
hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info.txt' INTO TABLE test_user;
3.1 查看结果
3.1.1 查看hive表数据 
hive> select * from test_user;
OK
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
Time taken: 0.161 seconds, Fetched: 5 row(s)
3.1.2 查看这个hive表指定的hdfs存储目录 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x   1 a6 supergroup         80 2017-11-04 11:06 /hive_hdfs_local_data/user_info.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info.txt
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
3.2 为测试不使用overwrite的导入数据时追加模式，并且自动重命名，所以进行再次导入，命令如下： 
hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info.txt' INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.811 seconds
3.2.1 查看hive表数据 
hive> select * from test_user;
OK
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
Time taken: 0.184 seconds, Fetched: 10 row(s)
3.2.2 查看hive表存储hdfs目录的变化： 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 2 items
-rwxr-xr-x   1 a6 supergroup         80 2017-11-04 11:06 /hive_hdfs_local_data/user_info.txt
-rwxr-xr-x   1 a6 supergroup         80 2017-11-04 11:18 /hive_hdfs_local_data/user_info_copy_1.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info_copy_1.txt
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
从上面可以发现，如果加载同样文件名的文件，会被自动重命名。
3.3 测试使用带overwrite加载本地数据的load data命令：
3.3.1 准备写入追加文件，内容如下： 
localhost:result_data a6$ more user_info_overwrite.txt
2014006 小王6
2014007 小李7
3.3.2 使用带overwrite的load data命令向hive表加载数据 
hive> LOAD DATA LOCAL INPATH '/Users/a6/Applications/apache-hive-2.3.0-bin/result_data/user_info_overwrite.txt' OVERWRITE  INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.53 seconds
3.3.3 查看hive表结果 
hive> select * from test_user;
OK
2014006	小王6
2014007	小李7
Time taken: 0.142 seconds, Fetched: 2 row(s)
发现数据库表中的数据被覆盖啦
3.3.4 查看存储hive表的hdfs目录的变化 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x   1 a6 supergroup         32 2017-11-04 11:21 /hive_hdfs_local_data/user_info_overwrite.txt
localhost:result_data a6$ hadoop dfs -cat /hive_hdfs_local_data/user_info_overwrite.txt
2014006	小王6
2014007	小李7
发现存储hive表的hdfs目录被覆盖啦，
所以不能轻易使用overwrite进行插入数据，因为会覆盖原来已经存储的hive数据呢
4. 下面测试一下将hdfs的文件导入hive数据表。
4.1 准备存储姚导入数据文件的hdfs目录，并上传需要导入hive表的文件 
localhost:result_data a6$ hadoop fs -mkdir /hive_input_data
localhost:result_data a6$ hadoop fs -put user_info.txt /hive_input_data
17/11/04 11:34:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
Found 1 items
-rw-r--r--   1 a6 supergroup         80 2017-11-04 11:34 /hive_input_data/user_info.txt
4.2.1 在导入之前首先看一下hive表数据存储目录 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
Found 1 items
-rwxr-xr-x   1 a6 supergroup         32 2017-11-04 11:21 /hive_hdfs_local_data/user_info_overwrite.txt
4.2.2 再看一下hive表现有的数据 
hive> select * from test_user;
OK
2014006	小王6
2014007	小李7
Time taken: 0.209 seconds, Fetched: 2 row(s)
4.3 使用带overwrite参数的load data命令导入数据 
hive>  LOAD DATA  INPATH '/hive_input_data/user_info.txt' OVERWRITE  INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.729 seconds
4.3.1 查看结果 
hive> select * from test_user;
OK
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
Time taken: 0.128 seconds, Fetched: 5 row(s)
4.3.2 查看存储要导入hive表那些数据的hdfs文件 
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:38:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
此时，存储/hive_input_data/user_info.txt的hdfs目录中就没有数据啦
4.3.3 同时也观察下该hive表存储数据目录的变化； 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
-rwxr-xr-x   1 a6 supergroup         80 2017-11-04 11:34 /hive_hdfs_local_data/user_info.txt
通过以上可以有两个发现，一是发现/hive_input_data/user_info.txt的user_info.txt这个导入数据不见了，因为文件被直接移动啦。二是发现原来hive表数据被覆盖啦，如果想要保留hive表的原始数据文件。
所以一般要慎重使用overwrite。
4.4 下面测试不带overwrite参数，将hdfs上的数据
4.4.1 上传本地文件到hdfs目录 
localhost:result_data a6$ hadoop fs -put user_info_overwrite.txt /hive_input_data
17/11/04 11:50:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
Found 1 items
-rw-r--r--   1 a6 supergroup         32 2017-11-04 11:50 /hive_input_data/user_info_overwrite.txt
4.4.2 查看hive表现有数据 
hive> select * from test_user;
OK
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
Time taken: 0.242 seconds, Fetched: 5 row(s)
4.5 使用不带overwrite的load data命令加载hdfs上数据到hive表 
hive> LOAD DATA  INPATH '/hive_input_data/user_info_overwrite.txt'   INTO TABLE test_user;
Loading data to table yyz_workdb.test_user
OK
Time taken: 0.648 seconds
4.5.1 查看导入之后的hive表数据 
hive> select * from test_user;
OK
2014001	小王1
2014002	小李2
2014003	小明3
2014004	阿狗4
2014005	姚明5
2014006	小王6
2014007	小李7
Time taken: 0.169 seconds, Fetched: 7 row(s)
hive>
4.5.2 查看被导入的数据文件所在的hdfs目录 
localhost:result_data a6$ hadoop dfs -ls /hive_input_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:51:48 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost:result_data a6$
之后发现导入数据文件所在的hdfs目录又空了，即数据文件被移动啦
4.5.3 下面看一下存储hive表数据的hdfs目录里面的文件情况 
localhost:result_data a6$ hadoop dfs -ls /hive_hdfs_local_data
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
17/11/04 11:53:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rwxr-xr-x   1 a6 supergroup         80 2017-11-04 11:34 /hive_hdfs_local_data/user_info.txt
-rwxr-xr-x   1 a6 supergroup         32 2017-11-04 11:50 /hive_hdfs_local_data/user_info_overwrite.txt

Data_IT_Farmer
关注
  • 14
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【日常工作总结】HIve数据导入问题
生命奇迹泉的专栏
05-16 1115
     最近在BDP平台上向Hive表中导入数据时，频频出错，踩过很多坑之后，才发现，原来是是表格式的问题，表格式为OCR，不支持传统文件导入，只支持表与表之间的导入。借此机会总结一下hive导入数据的内容。数据导入的几种方式：一.从本地文件系统中导入数据hive> LOAD DATA LOCAL INPATH "/home/hadoopUser/data/test1.txt" into ...
Hive使用中的注意事项
cuihaolong的专栏
07-31 517
1.导入数据显示中文的问题 数据导入前需将编码格式更改为utf-8再导入hive数据库，这样查询之后的结果才能正常显示中文而不是乱码，并且可以在相应的HiveQL语句中使用中文对某个字段进行判断。 2.查询结果显示列名 在hive-site.xml中设置hive.cli.print.header=true即可。 3.对COL求平均数并取整数 ROUND(AVG(COL))
hive3从入门到精通（一）
最新发布
weixin_43977307的博客
05-25 1081
Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。数据仓库为了分析数据而来，分析结果给企业决策提供支撑。 企业中，信息数据总是用作两个目的： （1）操作型记录的保存（2）分析型决策的制定为了能够正确认识这些问题，最稳妥办法就是：基于业务数据开展数据分析，基于分析的结
LOAD DATA INFILE语句导入数据进入MySQL的一些注意事项
热门推荐
myslq的博客
09-02 1万+
可以用以下语句导入CSV或其他格式数据进入MySQL数据库，LOAD DATA LOCAL INFILE "C:\\wamp\\apps\\litigationinfo.csv" REPLACE INTO TABLE litigationinfo CHARACTER SET utf8 FIELDS TERMINATED BY "," ENCLOSED BY "" LINES TERMINA
大数据开发之Sqoop篇----将数据导入到hive里面时遇到的一个坑
weixin_39702831的博客
10-31 4363
我们之前都是使用sqoop把RBDMS的数据导入到HDFS里面，但并没有在hive里面同时构建表，现在我们需要将数据导入HDFS里面的同时为这批数据在hive里面构建表结构 一般我们使用的命令： sqoop import  --connect url  --username root -P --table mysql里面的一个表(你也可以使用-e来给予SQL语句) --create-hive-...
Hive基础之导入数据
xjjdlut的专栏
03-01 326
在hive中创建表之后需要将数据加载或者导入到表中，然后在hive中才能够用查询语句进行分析，本文就来整理一下hive加载数据的方法。 加载数据到表中的语法参考Loading files into tables,我们摘抄如下： LOAD DATA [LOCAL] INPATH ``'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (par...
Hive创建表以及导入数据
行走的IT
07-04 4913
## 建表### 内表```create table test_user_base( name string comment 'name value', workid string comment 'workid value', age string comment 'age value', sex string comment 'sex value', phone string comment ...
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
Hive大表的测试数据
07-31
在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL类查询语言（HQL）来处理和分析存储在Hadoop文件系统（HDFS）中的大规模数据集。"Hive大表的测试数据"这个主题，通常涉及到以下几个关键...
Hive小表的测试数据
07-31
1. **数据加载**：Hive小表的数据通常通过`LOAD DATA`命令从本地文件系统、HDFS或者其他数据源导入。例如，提供的压缩包文件"10万条小表数据（id为9万+随机数字）"可能是CSV或者TSV格式，可以使用`LOAD DATA LOCAL ...
Hive表生成工具，Hive表生成工具Hive表生成工具
03-10
Hive表生成工具，Hive表生成工具Hive表生成工具
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
07-31
2. **读取Hive表**：使用Spark SQL的`spark.read.format("hive").load()`语句加载Hive表，这将返回一个DataFrame。 3. **处理和转换数据**：根据需求，可能需要对DataFrame进行一系列操作，如数据清洗、转换、聚合...
mysql load into table,MySQL使用LOAD DATA导入数据及注意事项
weixin_29221753的博客
03-17 1121
LOAD DATA语法：LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE ‘file_name’[REPLACE | IGNORE]INTO TABLE tbl_name[CHARACTER SET charset_name][{FIELDS | COLUMNS}[TERMINATED BY ‘string’][[OPTIONALLY] EN...
mysql导入数据load data infile注意事项
Jarvis的博客
11-25 2643
注意注意： 1.在远程客户端使用load data infile的话，需要添加FILE权限。 2.如果是导入有中文的数据，我的mysql 设置的utf8 字符集，所以你要导入的xxx.txt 文件也要保存utf-8的字符集。 3.在远程客户端（需要添加选项：--local-infile=1）导入远程客户端文本到MySQL，需指定LOCAL（默认就是ignore）,加ignore选项会放弃
hive load文件第一个字段为NULL
lixiaotaoplus的专栏
07-22 1856
在hive中，通常需要加载外部数据源。load文件时，第一个字段会出现NULL。例如: 1、执行load语句： LOAD DATA LOCAL INPATH ‘test.txt’ OVERWRITE INTO TABLE table_name_xxx; 2、结果： 经排查，这种情况通常是上传文件编码问题导致的，解决办法如下： 使用UE或Notepad++，将文件保存为“以UTF-8无BOM
HIVE数据导入和导出方式
AnameJL的博客
06-18 976
数据导入 1. 将数据直接导入上传到表对应HDFS文件夹中 这个方法相对比较简单粗暴,通过hdfs的shell客户端命令,将数据文件直接上传到hdfs文件系统中就可以了. shell客户端命令: hdfs dfs /本地路径/所要上传的文件 /hdfs文件系统中的路径 2. 使用load命令 1. 使用命令将本地数据导入到表中 语法: load data local inpath /path/filename.txt into table tbName; 例子: 2. 使用命令导入HDFS中的数据到
hive建表并load数据小结
weixin_33856370的博客
09-16 296
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive - 建表和加载数据指令小结 以及使用Load data指令的注意事项​​​​​​​
lvyforever的专栏
12-25 373
类似Mysql的数据库概念： hive> CREATE DATABASE cui; hive> USE cui; 创建表： CREATE TABLE test(     first STRING,     second STRING ) 默认记录和字段分隔符： \n   每行一条记录 ^A    分隔列（八进制 \001） ^B    分隔ARRAY或者STRUC...
Hive编程指南-学习笔记（一） 数据类型和分隔符
zjlamp的博客
10-05 876
一、Hive概述 Hive定义了类似SQL的查询语言——HiveQL，用户编写HiveQL语句运行MapReduce任务，查询存储在Hadoop集群中的数据。 HiveQL与MySQL最接近，但还是有显著性差异的。Hive不支持行级插入、更新操作和删除操作。Hive不支持事务。HiveQL并不符合ANSI SQL标准。   HiveQL实现词频统计算法（Word Count）： CRE...
hive 创建外部表时能否直接导入数据？
06-03
是的，Hive创建外部表时可以直接导入数据。下面是具体的步骤： 1. 打开Hive命令行终端，输入以下命令以创建一个新的数据库： ``` CREATE DATABASE my_database; ``` 2. 使用以下命令来选择创建的数据库： ``` USE my_database; ``` 3. 输入以下命令创建一个新的外部表，并直接从数据文件中导入数据，例如我们创建一个名为`my_table`的外部表： ``` CREATE EXTERNAL TABLE my_table ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/hive/data' tblproperties ("skip.header.line.count"="1"); LOAD DATA LOCAL INPATH '/path/to/data/file/data.txt' OVERWRITE INTO TABLE my_table; ``` 上述命令创建了一个外部表，其结构与前面创建的表相同，但是它的数据存储在`/user/hive/data`目录下，而不是Hive默认的目录中。在表的属性中，我们使用了`"skip.header.line.count"="1"`来跳过数据文件的第一行，这样就不会将数据文件的表头导入到表中。 4. 在创建外部表的同时，使用`LOAD DATA`命令将数据从本地文件中导入到外部表中，例如我们将数据文件存储在`/path/to/data/file/data.txt`目录下。这里使用了`LOCAL INPATH`参数来指明数据文件的本地路径，`OVERWRITE`参数表示如果表中已经有数据，则覆盖原有数据。 到这里，我们就完成了Hive创建外部表并直接导入数据的过程。需要注意的是，外部表的数据存储在Hadoop集群中，并且Hive只是对这些数据的元数据进行管理，因此在删除外部表时，数据不会被删除。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值