如何在Hive上建表并导入数据

最新推荐文章于 2024-07-27 11:00:39 发布
最新推荐文章于 2024-07-27 11:00:39 发布
阅读量1.8k 收藏
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011357712/article/details/76585255
版权

  1. 上传数据文件到HDFS
    hdfs dfs -put data /tmp/

  2. 运行hive命令，打开hive终端
    https://cwiki.apache.org/confluence/display/Hive/LanguageManual

  3. 建表
    create table test_1 (id string, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’;
    上面建表语句的意思是：每一行以逗号’,’为分隔符，每行有两列，分别为id 和 name

  4. load data inpath ‘/tmp/data’ into table test_1;

hive中常用命令:
1. show databases;
2. show tables;
3. use ‘database name’ //切换到某个数据库

阿术和薇薇安
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 创建表、导入数据和插入数据操作
louzhu_lz的博客
05-09 1万+
Hive create table/ load data/ insert 简单操作 1、Hive创建表----直接使用create语句 (IF NOT EXISTS判断是否已存在表，BY后面接分隔符) CREATE TABLE IF NOT EXISTS 表名(字段1 数据类型,字段2 数据类型) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; 比如...
Hive如何建表+导入数据+导出大文件
lz_N_one的博客
07-25 1664
如果数据量很大，达到几百万，而且需要传输，一般将数据文件处理成一个大文件，方便传输后，对方进行数据处理INSERTOVERWRITEDIRECTORY表示重写目录，重写后源数据被覆盖。partitioned表示分区，数据量不大、无区域数据调整的情况下，一般不用分区。对于1万行以内的数据，我们常可以通过select直接获取，用excel进行分析。（1）注意数据的格式，最常见的为将含中文的文件保存为utf-8格式；都能将对应的partition数据文件删除。3.2将临时表数据存入一个特定的目录下。...
hive建表，与插入数据
前方的路在刚开始
08-23 3346
固建立临时表（不分区），导入数据到临时表，创建分区表，通过【insert 分区表 select 临时表】 导入分区表。，需要通过insert parquet格式的表 select * textfile格式的表)存储格式用parquet，压缩数据，比orc差，查询一致，但是插入快（一致，他会把hdfs的文件copy到hdfs的hive表下。思路，hive导入分区表，只能通过临时表导入。准备数据，这种数据是textfile格式。数据是以,切分的 row format。这是解压后的，实际上的数据是.gz的。
Hive导入数据的五种方式及其应用
最新发布
My_wife_QBL的博客
07-27 684
Hive 提供了多种数据导入方式，以满足不同场景和需求。本文详细介绍了 Hive 导入数据的五种方式，并通过实际案例进行了说明。通过灵活运用这些导入方式，可以高效地管理和处理大数据集。LOAD DATA：适用于将本地文件或 HDFS 文件加载到 Hive 表中。：适用于将查询结果插入到 Hive 表中。：适用于根据查询结果创建新表并插入数据。：适用于管理已经存在于 HDFS 或其他存储系统中的数据文件。：适用于实时导入数据。
hive建表
hzp666的博客
11-03 9802
https://blog.csdn.net/wgyzzzz/article/details/107446435 一、hive建表语法 二、hive外部表 1、准备测试数据、放入虚拟机/data目录下 2、创建外部表 3、装载数据 4、查询test1表 5、查询test1在hdfs上的位置 6、通过desc命令查看表的状态 7、删除表，查看表在hdfs上的状态 8、重新创建外部表test3，通过location关键字指向test1 9、查询test3 三、hive内部表（管理表） 1、创建内部表 2...
hive笔记-如何创建一张表并将数据导入
然然然星人的博客
01-07 2240
参考资料：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationhive版本：hive1.1.0主要通过参考官网wiki，顺便做做笔记。具体的参数功能建议直接参考官网。创建一个数据库的语法("[]"为可选参数)：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] data...
Hive建表语句详解--CREATE TABLE
热门推荐
Thomson617的博客
01-09 14万+
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表）1、使用create命令创建一个新表,带分区可以使用describe formatted mytest_deptaddr 查看建表相关的各种配置属性以及默认属性。从下面可以看出，在创建表时有很多属性，比如存储地址，存储格式等属性我们都没有直接配置，而是选择了系统默认的。2、把一张表的某些字段抽取出来，创建成一张新表，使用as注意： 1.as只会复制属性以及属性值到新的表中。
SQL 【hive建表&导入数据】
nnnnn68的博客
04-02 1297
SQL insert overwrite insert into create 创建 导入 表
mysql数据抽取，自动生成hive建表语句
03-11
8. **验证与优化**：导入数据后，进行数据校验，确保数据一致性。根据业务需求，可能还需要对Hive表进行性能优化，比如设置合适的压缩编码、分桶或倾斜键等。 这个过程不仅可以节省手动编写建表语句的时间，还可以...
hive基础：建表+导入数据+导出大文件
灵小只的博客
05-31 482
hive基础*：建表+导入数据+导出大文件 1.建表 fields terminated by 数据列分隔符，根据实际情况定 lines terminated by 数据行分隔符，根据实际情况定 partitioned表示分区，数据量不大、无区域数据调整的情况下，一般不用分区。不用时，直接将 PARTITIONED BY（**） 删除即可 stored as 文件格式，见《Hive文件格式（表STORE AS 的四种类型）》 location 对应一个目录 建表语句如下： drop table if exi
Hive建表（一） 建表语法和导入hdfs数据
zp17834994071的博客
06-09 4509
为什么要用Hive? 前面我用MapReduce端join操作两张表，大家也看到很麻烦，而现在有一个工具可以不用那么麻烦的去写MapReduce程序了，只需要用Hive就可以照样显示需要的结果。 Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序； Hive可以将结构化的数据文件（按照各字段分类的数据）映射成一张虚表，并提供类SQL查询功能； 有了Hive后我们就不用再写麻烦的MapReduce程序了。 说白了Hive的本质是把SQL语句转
Hive表生成工具，Hive表生成工具Hive表生成工具
03-10
Hive表生成工具，Hive表生成工具Hive表生成工具
HIVE的三种建表方式
weixin_44988131的博客
11-01 2万+
目录一、直接建表二、as （直接使用查询结果插入到一张新表）三、like（复制表结构） 一、直接建表 中括号里面的均为可选项 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 　　[(col_name data_type [COMMENT col_comment], ...)] 　　[COMMENT table_comment] 　　[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...
hive创建表定义的3种方式
helloxiaozhe的博客
06-20 6366
hive创建表定义的3种方式（1)、方式一 通过 create......as........selectCREATE TABLE default.weblog_comm AS select ip, time, req_url from default.weblog; （2)、方式二 通过like 进行hive复制表结构CREATE TABLE new_table LIKE ol...
hive 建表_大数据面试必备 | Hive数据仓工具面试题！
weixin_39557087的博客
12-01 151
是新朋友吗？记得先点蓝字关注我哦～ 今日课程菜单Java全栈开发 |Web前端+H5大数据开发 | 数据分析人工智能+Python | 人工智能+物联网来源：小职(z_zhizuobiao)找我：✅ 解锁高薪工作 ✅ 免费获取干货教程未完待续进入数据时代，大数据技术成为互联网发展的核心要素之一。与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术...
Hive建表以及导入数据
weixin_50691399的博客
01-02 4906
本文主要是Hive的建表和上传数据方式
HIVE表数据快速构造（分区表、orc、text）
qy_getforward的博客
02-15 2401
快速可视化创建hive表，并导入数据
hive中的三种建表方法
wgyzzzz的博客
07-19 6403
文章目录一、直接建表二、查询建表三、like建表 一、直接建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] employee_external ( //EXTERNAL关键字添加为外部表 name string, work_place ARRAY<string>, sex_age STRUCT<sex:string,age:int>, skills_score MAP<string,int>,
4 HQL操作之 -- DDL命令
weixin_42749734的博客
01-20 602
数据库的创建及删除；内部表，外部表，分区表，分桶表 修改表，删除表 主要命令：create、alter 、drop
hive建表时插入数据
07-28
在Hive中，可以使用多种方式向表中插入数据。一种常见的方式是使用INSERT INTO语句，将数据直接插入到已存在的表中。例如，可以使用以下语法将数据插入到表中： INSERT INTO 表名 VALUES (值1, 值2, ...); 另一种方式是使用LOAD DATA语句，将数据从外部文件加载到表中。可以使用以下语法将数据加载到表中： LOAD DATA LOCAL INPATH '文件路径' OVERWRITE INTO TABLE 表名; 其中，'文件路径'是指外部文件的路径，可以是本地文件系统或HDFS上的文件路径。 还有一种方式是创建外部表，使用CREATE EXTERNAL TABLE语句创建表，并指定外部数据的位置。然后可以使用LOAD DATA语句将数据加载到外部表中。这种方式可以将数据存储在外部位置，而不是Hive默认的仓库位置。例如： CREATE EXTERNAL TABLE 表名 (字段1 数据类型, 字段2 数据类型) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '外部数据路径'; 其中，'外部数据路径'是指外部数据存储的位置。 需要注意的是，根据具体的需求和数据来源，选择合适的方式来插入数据到Hive表中。 #### 引用[.reference_title] - *1* *2* *3* [Hive 创建表、导入数据和插入数据操作](https://blog.csdn.net/louzhu_lz/article/details/90046028)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值