Shell导出hive查询数据

最新推荐文章于 2024-02-25 11:27:50 发布

smilexin104

最新推荐文章于 2024-02-25 11:27:50 发布

阅读量629

点赞数

文章标签： shell hive

本文链接：https://blog.csdn.net/smilexin104/article/details/104985177

版权

hive上在hue中查询数据大于10w条无法一次性导出，可以在shell中执行导出到文件，再下载到本地

hive --outputformat=csv2 -e "select *

from temp.temp_data_20200319;" > data.csv

生成了一个数据csv文件

执行 sz data.csv ，将文件保存

至本地

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

smilexin104

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Hive进阶】-- 导出 hive 表数据的几种方式

欢迎来到我的博客，一起探索代码里的世界！

03-13

1982

在日常的工作中，常常会有导出 hive 表数据的需求。在此，我整理了如下几种方式，供大家参考。然后使用 hdfs 命令下载。

shell脚本导出所有hive库名、hive表名及建表语句

weixin_45511708的博客

07-31

1490

#!/usr/bin/bash # 获取当前脚本所在路径 cur_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" cd ${cur_dir} # 导出所有hive数据库名 hive -e "show databases;" > ${cur_dir}/all_database.db # 删除导出文件中的警告信息 sed -i '/^WARN:/d' ${cur_dir}/all_database.db # 导出各个hive库下

参与评论您还未登录，请先登录后发表或查看评论

hive 表结构导出

05-19

支持hive 源数据、表结构导出

Shell实现Hive表结构全备份

colby_chenlun的博客

09-05

617

登录hive服务器，新建一个shell脚本，内容如下 #!/bin/bash #原样输出一段文字可以用CAT cat<<EOF **************************************************** 功能：实现Hive表结构备份参数：P1,P2,P3... 创建者：XXXX 创建日期：YYYY-MM-DD 修改...

Hive几种数据导出方式 – 过往记忆

09-21

Hive几种数据导出方式，总结的几种方式希望能帮到大家

批量导出hive表结构

11-27

通过shell脚本，批量把一个库下面的表结构全部导出，在开发环境执行过。

Hive 导出数据格式为CSV

freeRoad

09-20

339

【代码】Hive 导出数据格式为CSV。

shell获取hive查询数据结果_使用shell+awk完成Hive查询结果格式化输出

weixin_39762856的博客

12-21

836

好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚本，将查询结果处理下，便于后续的查看或者操作。--额外的：A、每次查询出来的结果字段数、字段长度不固...

Hive Shell指令——数据导入方法、数据导出方法详解

weixin_43376907的博客

02-26

3005

Hive数据导入方法、数据导出方法总结一、Hive数据导入方法 ——六条1. 使用 load data 导入2.使用 Insert into / overwrite 导入3. 使用 As select 导入4. 使用Location导入5. 使用Import导入6. 使用Sqoop导入二、Hive数据导出方法——五条1. 使用 Insert overwrite 导出2. 使用 Hadoop 命令导...

使用shell脚本执行hive查询并将结果输出到本地文件

紫枫丶羽的博客

07-20

4035

简单实用的脚本分享。关于hive命令的3种调用方式: （1）hive –f file.sql（适合多语句）（2）hive-e 'sql语句'（适合短语句）（3）hive（直接使用hive交互式模式）方式一： 1.准备hive查询语句 //创建文本文件 touch read.sql //加入要执行的hive查询语句，例： show databases; show tables; use default; select * from test01; 2.执行并查看结果 ...

csv 文件导入hive

04-24

数据文件

linux查询hive sql输出文件,数据库-如何将HiveQL查询的结果输出到CSV？

weixin_30759991的博客

04-29

1413

数据库-如何将HiveQL查询的结果输出到CSV？我们希望将Hive查询的结果放入CSV文件。我认为该命令应如下所示：insert overwrite directory '/home/output.csv' select books from table;当我运行它时，它表示已成功完成，但我永远找不到该文件。如何找到该文件，或者应该以其他方式提取数据？谢谢！15个解决方案139 votes尽...

Hive数据导出到CSV的方法

onway_goahead的博客

10-15

1万+

1. 使用 insert overwrite local directory insert overwrite local directory '/url/lxb/hive' row format delimited fields terminated by ',' select * from table_name limit 100 2. 使用 hive 导出结果 hive -e "set hive.cli.print.header=true; select * from data_table

Hive几种数据导出方式

热门推荐

xiao_jun_0820的专栏

06-19

7万+

谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。　　一、导出到本地文件系统　　 hive> insert overwrite loca

beeline取出hive表数据到CSV文件，做数据取样

高矮

01-13

6599

beeline取出hive表数据到CSV文件，做数据取样： beeline -u jdbc:hive2:// --verbose=true --outputformat=csv2 -e "select * from test.INFO_FLUME_DATA_DT0 limit 10">>tt.csv

Hive数据导出的四种方法

m0_62332728的博客

01-16

4186

介绍hive四种数据导出方法：Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出

hive表中的数据导出多种方法详细说明

nuhao的博客

02-25

1224

基本语法：（hive -f/-e 执行语句或者脚本 > file）3）将查询的结果导出到HDFS上(没有local)2）将查询的结果格式化导出到本地。1）将查询的结果导出到本地。

hive导入导出数据自动化的shell脚本

lijian972的博客

03-28

3329

1.从mysql导入到hive的ods层的shell脚本传参表示要导入的数据分期日期，sqoop导入，实例： #!/bin/bash export SQOOP_HOME=/usr/bin/sqoop if [ $# == 1 ] then dateStr=$1 else dateStr=`date -d '-1 day' +'%Y-%m-%d'` fi dateNowStr=`date +'%Y-%m-%d'` yearStr=`date -d ${dateStr}

使用shell批量导出hive表结构

cici_104的博客

05-07

3055

方式一：创建shell脚本hive1.sh:，通过传参导出指定库的表结构： #！/bin/bash DATABASE=$1 hive -e “use ${DATABASE}; show tables;” > ${DATABASE}_tables.txt sleep 1 cat ${DATABASE}_tables.txt | while read eachline do hive -e “s...

hive导出数据为txt