hive数据导入的6种方式

最新推荐文章于 2022-10-25 16:34:31 发布
最新推荐文章于 2022-10-25 16:34:31 发布
阅读量2k 收藏 9
点赞数 1
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MicoOu/article/details/103390249
版权
本文详细介绍了Hive数据导入的六种方法：包括使用hadoop fs -put、LOAD DATA、INSERT...VALUES、INSERT...SELECT、CTAS以及CREATE VIEWS。重点比较了CTAS和CREATE VIEWS在效率和使用场景上的差异，对于数据导入提供了实用的操作示例。
摘要由CSDN通过智能技术生成

目录

1.hadoop fs -put的方式

语法：hadoop fs -put 数据文件名 HDFS目录 的形式暴力导入。【不太推荐】

hadoop fs -put students.txt /home/hadoopUser/apps/hive/warehouse/myhive1029.db/stu1029/
在这里插入图片描述

2.load的方式

可查看hive的官方文档

LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]

说明：
LOAD操作是单纯的复制或者移动，将数据文件移动到hive表对应的位置。
【local】查找本地linux的filepath位置。
【overwrite】先清空hive表目录下的所有文件，然后再把filepath文件添加进去。

  1. 从本地目录导入数据到hive表，需要添加【local】关键字
    从本地目录复制文件到hive表目录下

最低0.47元/天 解锁文章
MicoOu
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive的几种常见的数据导入方式
lz_N_one的博客
07-29 6848
(1)、从本地文件系统中导入数据到Hive表； (2)、从HDFS上导入数据到Hive表； (3)、从别的表中查询出相应的数据并导入到Hive表中； (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。...
Hive导入数据的五种方法
m0_62332728的博客
01-14 3186
介绍Hive表导入数据的五种方法：Load加载数据、insert插入数据、As Select加载数据、Location加载数据、Import加载数据
hive 导入数据的5种方式
热门推荐
不是一枚开发
06-30 6万+
:表示覆盖表中已有数据，否则表示追加如：  从本地文件系统加载数据到hive表   从hdfs文件系统加载数据覆盖hive表 insert into：以追加数据的方式插入到表或分区，原有数据不会删除 insert overwrite：覆盖表中已存在的数据 3. 创建表时加载数据 （1）创建表时使用查询语句 （2）创建表时通过指定加载数据路径先用export导出后，再将数据导入() 如： 从a集群中导出hive表数据： 向b集群中导入数据到hive表： Sqoop User Guide...
Hive导入数据的四种方式
hyj
07-22 1万+
Hive导入数据的四种方式 2、HDFS上导入数据到Hive表 先将文件从本地导入到hdfs上 注意： (1)是移动不是复制，hdfs中的teacher2.txt移动走了。 (2)如果有多个文件可以：load data inpath '/input/*' into table teacher; 3、从别的表中查询出相应的数据并导入到Hi...
Hive几种数据导入方式
xiaoqixiaodong的专栏
02-12 997
数据导入方式，我总结为四种：  （1）、从本地文件系统中导入数据到Hive表；  （2）、从HDFS上导入数据到Hive表；  （3）、从别的表中查询出相应的数据并导入到Hive表中；  （4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。  我会对每一种数据的导入进行实际的操作，因为纯粹的文字让人看起来很枯燥，而且学起来也很抽象。好了，开始操作！ 一、从本地
Hive导入数据的五种方式
weixin_59295776的博客
12-14 6036
1. Load方式，可以从本地或HDFS上导入，本地是copy，HDFS是移动 本地：load data local inpath ‘/root/student.txt’ into table student; HDFS：load data inpath ‘/user/hive/data/student.txt’ into table student; 2. Insert方式，往表里插入 insert into table student values(1,’zhanshan’); 3. As se
Hive数据导入HBase的方法.docx
08-19
Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具，而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中，经常需要将数据从 Hive 导入到 HBase 中。...
Kettle将数据导入导Hive2
01-07
 本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop ...
(一)hive导入数据
01-20
创建完数据库后，你可以通过Hive命令行接口（CLI）来运行SQL脚本文件，将数据导入到表中。例如： ```bash hive -f XXX.sql ``` 在这里，`XXX.sql`是包含创建表和加载数据等操作的SQL脚本文件。如果在运行过程中遇到...
Hive+经纬度+数据导入ES
最新发布
03-04
Hive+经纬度+数据导入ES
hive表导入数据的几种方式
l1394049664的博客
08-10 1998
目录 一、通过LOAD DATA 命令 1、不指定分区 1）、从本地文件系统中导入数据到Hive表 2）、从HDFS上导入数据到Hive表 2、指定分区 二、把select查询的结果插入到指定的表中 1、静态分区导入 2、动态分区导入 3、多表插入 三、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中create table .. as select 四、把数...
Hive四种数据导入方式介绍
on the way的专栏
07-16 5297
问题导读 1.从本地文件系统中通过什么命令可导入数据到Hive表？ 2.什么是动态分区插入？ 3.该如何实现动态分区插入？
【Hive---06】数据导入 与 数据导出
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-25 2327
1. 数据导出 1.1 在hive客户端中导出 (1) insert：导出查询结果(导出到主机 | hdfs)⭐ (2) export：导出表数据(导出到hdfs)⭐ 1.2 直接从Hadoop中导出 1.3 Sqoop导出 2. 数据导入 2.1 在hive客户端导入 (1) load ：导入表数据(从本地| hdfs导入)⭐ (2) Import：导入表数据(从hdfs导入) (3) insert：导入查询数据⭐ (4) as select：创建表并同时将查询数据导入该表 (5) Location：创建
hive表中加载数据方式:表数据的导入五种方式
11-26 6926
直接向分区表中插入数据 create table score3 like score; insert into table score3 partition(month ='201807') values ('001','002','100'); 通过查询插入数据 通过load方式加载数据 load data local inpath '/export/servers/hivedatas/s...
佛祖保佑 永无BUG(网转 by atkfc)
weixin_30488313的博客
08-26 460
// _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // O\ = /O // ____/`---'\__...
hive几种导入数据方式
weixin_38610500的博客
12-13 1883
load 语法： load data [local] inpath ‘xx’ into table 表名 partition() local: 如果导入的文件在本地文件系统，需要加上local，使用put将本地上传到hdfs 不加local默认导入的文件是在hdfs，使用mv将源文件移动到目标目录 hadoop fs -put department / load data inpath ‘/department’ into table deptpart3 partition(area=‘suzh
自连接，窗口函数（sum、avg、max、min）实战
MicoOu的博客
12-11 2254
采用自连接和窗口函数两种方法解题： 求每个用户截止到每月为止的当月访问次数、最大单月访问次数、累计到该月的总访问次数。 三个字段的意思： 用户名，月份，访问次数 表名visits 字段id, vmonth, pv 数据： A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2...
hive数据导入导出
10-21
Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。在Hive中，我们可以使用导入导出功能来将数据从Hive中导出到其他系统或者将数据导入到Hive中。具体来说，Hive支持以下三种数据导入导出方式： 1.导出数据到HDFS：使用export命令将Hive表中的数据导出到HDFS中的一个目录中，同时会生成一个元数据文件。 2.导入数据到Hive：使用import命令将HDFS中的数据导入到Hive表中。 3.导出数据到本地文件系统：使用insert overwrite local directory命令将Hive表中的数据导出到本地文件系统中的一个目录中。 需要注意的是，在导入导出数据时，我们需要指定数据的路径和格式等信息，以确保数据能够正确地被导入或导出。同时，在导入数据时，我们还需要确保数据的格式和表结构一致，否则可能会导致导入失败。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值