hive如何导出数据至本地/HDFS/HIVE？

最新推荐文章于 2024-07-30 23:21:01 发布
最新推荐文章于 2024-07-30 23:21:01 发布
阅读量5.6k 收藏 18
点赞数 2
分类专栏： HIVE 文章标签： linux hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Foools/article/details/117995670
版权
这篇博客介绍了在Windows环境下使用xshell和Hive操作时，如何导出大量数据。提供了三种方法：通过insert命令或hive -e命令将数据保存至Linux本地再转至Windows；直接存入HDFS或新建Hive表；以及通过修改xshell配置显示更多行数直接复制数据。
摘要由CSDN通过智能技术生成

hive如何导出数据至本地/HDFS/HIVE？

应用背景

windows下使用xshell进行hive的操作，代码编辑使用vscode。

这时候如果有数据需求的话，正常情况是登录hive，输入hql，然后出数据，复制粘贴在excel里稍微美化一下，交给运营和产品，但是这种情况是在数据量不大的情况下可以实现的，那如果行数太多，无法直接复制，如何操作呢？

方法一：将数据以文件格式存到到本地

分为两步：把数据存储在linux服务器，从linux服务器复制文件到本地windows

  • insert方法（有风险）

    INSERT OVERWRITE LOCAL DIRECTORY '/home/path' 
select * from test;

    这种方法将数据写入本地目录（是linux的本地目录，不是电脑的本地目录），但是要注意，这种方法会将这个路径下原来的内容都

最低0.47元/天 解锁文章
Foools
关注
专栏目录
【Hive进阶】-- 导出 hive 表数据的几种方式
欢迎来到我的博客，一起探索代码里的世界！
03-13 2033
在日常的工作中，常常会有导出 hive 表数据的需求。在此，我整理了如下几种方式，供大家参考。然后使用 hdfs 命令下载。
HIVE与HDFS进行数据导入导出操作
幸运的Alina的博客
07-24 5650
1. 将HDFS文件导入到HIVE中 1.1 创建内部表 create table result(user_id int ,product_id int ,rating float) commend "save user information" row format delimited fields terminated by ',' ; load data inpath "/ha...
hive查询导出到hdfs，hive，file
10-28 163
INSERT OVERWRITE LOCAL DIRECTORY '/script/dirk.zhang/test' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select... ...;     insert overwrite [local] directory '/data/movielens/100k/output/item_rel...
【Hive】（六）Hive DML 数据操纵语言详解
云祁QI
12-14 1386
文章目录 一、数据导入 1.1 向表中装载数据（Load） 1.2 通过查询语句向表中插入数据（Insert） 1.3 查询语句中创建表并加载数据（As Select） 1.4 创建表时通过Location指定加载数据路径 1.5 Import数据到指定Hive表中 二、数据导出 2.1 Insert导出 2.2 Hadoop命令导出到本地 2.3 Hive Shell 命令导出 2.4 Export导出到HDFS上 三、清除表中数据（Truncate）
将HiveSql查询到的结果导出到本地 /Hdfs
zhangbw's blog
10-29 1132
语法格式： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 [ROW FORMAT row_format] select_statement1; 注意 ： 加local : 导入到本地 ，不加local --> 导入到 hdfs 例：将查询到的结果保存到本地 , 字段之间以\t分隔 INSERT OVERWRITE LOCAL DIRECTORY "/opt/data/" ROW FORMAT DELIMITED FIELDS TERMINATED B
Oozie（二）之实现hive表导出到hdfs
weixin_45568892的博客
03-28 453
Oozie（二）之实现hive表导出到hdfs 一、Oozie简介 ​ Oozie是Apache公司的顶级项目。 ​ Oozie是大数据四大协作框架之一——任务调度框架，其他三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。 ​ 它能提供对Hadoop MapReduce Jobs、Spark(Streaming) Jobs、Hive Jobs等的任务调度及协调，...
Hive导入导出数据（本地，hdfs，其他表）
i000zheng的博客
05-22 2542
从本地导入hive> LOAD DATA LOCAL INPATH '/home/username/hivedata/source.txt' INTO TABLE tablename PARTITION(create_time='2018-01-01'); 导出到本地--不能使用insert into local directory来导出数据，会报错--只能使用insert overwri...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
hive查询数据导出到本地目录或hdfs的方法
xinganshenguang的博客
11-23 6010
一、导出到本地文件系统 　　 hive> insert overwrite local directory '/home/mydir/mydir' > select * from test; 　二、导出到HDFS中 hive> insert overwrite directory '/home/mydir/mydir' > select * from test;
Hive 查询数据导出到本地目录或 hdfs 的方法
王坤华的博客
05-18 4138
Hive 查询数据导出到本地目录或 hdfs 的方法 说明 在最近的项目中，需要将最终生成的 Hive 表数据导出到文件中，具体实现请参见下方 SQL。 查询结果导入到 hdfs 文件 一般方式： insert overwrite directory '/hive/test_data' select * from test; 自定义输出样式方式： insert overwrite directory '/hive/test_data' row format delimite...
hive中的数据导入到hdfs或者本地文件的方式包括sqoop
xia1140418216的博客
12-08 4416
把hive中的数据导入到hdfs或者本地文件的方式 1、通过insert…directory方式导出数据到本地文件 insert overwrite local directory '/opt/datas/hive/exp_hive' select * from emp ; insert overwrite local directory '/opt/datas/hive/exp_hive2' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select
hive表中的数据导出
依旧的博客
11-22 4405
将hive表中的数据导出到其他任意目录，例如linux本地磁盘，例如hdfs，例如mysql等等 一、insert导出 将查询的结果导出到本地 insert overwrite local directory '/export/servers/exporthive/a' select * from score; 将查询的结果格式化导出到本地 insert overwrite local d...
将hive表的数据下载到本地
qq_34318002的博客
01-18 1280
hive表 下载命令 hadoop fs -getmerge /user/hive/warehouse/lxq.db/list_1 list_1 查看一下数据
hive 表中加载数据、hive表中的数据导出
qq_43528451的博客
04-09 1742
hive 表中加载数据、hive表中的数据导出 直接向分区表中插入数据 通过insert into方式加载数据 create table score3 like score; insert into table score3 partition(month='202007') values ('001','002','100'); 通过查询方式加载数据 create table score4 like score; insert overwrite table score4 partition(month
图示-实现hive的文件与hdfs的导入导出
XIAOMO__的博客
07-13 510
已知一堆sql导入数据库。 导出成文本：
获取hdfs文件到本地的两种方法比较
数据小白的进阶之路
09-18 4745
一、前言 最近在搞数据传输的东西，涉及到hdfs的操作，主要有两种方法： 1、hive -e方法 2、hdfs dfs -get方法 二、详解： 两者都可以将集群的数据写入到本地，但是所存储的格式存在差别： 方法一： hive -e将集群的数据拉取到本地，所 存储的格式是服务器默认存储的格式，这种格式存在的问题是：如果在将文件导入到另外一台集群时，如果创建表的分割符与机器的默认分割不一致，就会导致列分割失败，所有的列会写入一个字段中。 hive -e "USE htl_data;SELEC
hive的数据导入与导出
Z113014的博客
03-04 363
hive数据导入： 从本地导入是复制 从hdfs导入时mv（移动） 从本地文件系统导入hive表中 1.向表中加载数据（load） 语法； 本地文件加local load data [local] inpath '文件路径' [overwrite] into table 表名[partition ....]； 2.通过查询语句插入数据（...
Hive数据表导入导出操作
07-30 903
hive针对数据表导入导出操作
Hive如何导出数据到HDFS？
最新发布
10-30
导出HDFS的部分则需要在shell脚本中完成，例如使用`hadoop fs -put`命令复制Hive表数据到目标目录。记得清理临时表： ```bash hadoop fs -put $HIVE_HOME/warehouse/temp_output/data /hdfs_path/output DROP ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值