HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符

最新推荐文章于 2022-05-06 13:48:45 发布
最新推荐文章于 2022-05-06 13:48:45 发布
阅读量1.1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scjthree/article/details/26683147
版权
HIVE数据导出是比较简单的，直接用HIVE自带的命令即可： 
hive -e "select * from prs.prs_goods_b2b" > prs_goods_b2b
从HIVE中导出表数据到本地文件中

但是导出来的数据是用HIVE自带的分隔符。查了下貌似HIVE没有导出数据指定分割符的语句。看起来只能在linux里处理了
HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符 - scjthree - 亚存的博客
 
刚刚打开还以为是空格作为分隔符，所以直接用sed -i 's/ /,/g‘ prs_goods_b2b处理了下，结果发现没用，看起来不是空格。于是用 hexdump 看了下
HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符 - scjthree - 亚存的博客
可以看出分隔符应该是09。再用09试试
HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符 - scjthree - 亚存的博客
 
一切OK了
 


亚存
关注
专栏目录
HIVE导出到HDFS没有分割符解决方案
UckyK的专栏
01-13 3827
困扰了我一天的问题，假设有一个表，要对他的数据进行一些处理，处理后将他直接导出到HDFS上，但是导出后查看数据会发现，没有分隔符分开都是密密麻麻的字母数字。 之后查找资料后再添加 Insert overwrite directory ‘\dir’ Row format delimited Fileds terminated by ‘\t’ Select *from table_name;
hive基本数据类型、数据库、表及6种数据导入导出命令总结
weixin_48620718的博客
08-29 674
1、hive基本数据类型 2、数据类型 实例：创建不同数据类型的表 create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items...
hive 导出数据并指定分隔符
weixin_41634597的博客
05-06 6147
需求：使用beeline，将hive数据导出到本地服务器，TXT 格式，分隔符为‘|+|’。 实现 实现方式分为两种： 1、insert overwrite 将结果导出到文件，并指定分隔符 举例： insert overwrite local directory ‘/home/data/test.txt’ row format delimited fields terminated by ‘|+|’ select * from table; 2、hive -f 或者hive-e beeline -u jdb
Hive导出指定分隔符
yyqq188的博客
10-16 3339
业务场景： 做数据分析的时候，经常会用到hive -e "sql" > result.csv，然后将结果导入到excel中，可是使用hive -e导出后默认的分隔符是\t，excel无法识别，所以需要将\t转成, 方案一：使用linux管道符替换 hive -e "select * from table_name limit 100" | sed 's/\t/,/g' > result.csv 或者 hive -e "select * from table_name ..
hive数据导出至本地文件，如何指定分隔符
热门推荐
Forever-守望
12-21 2万+
有时候需要将hive库中的部分数据导入至本地，这样子做可视化和小规模的数据挖掘实验都是比较方便的。数据导入至本地的HQL语法如下： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1;但是hive对字段分隔时默认使用的分隔符是^A，使用文本编辑器打开文件显示出来就是乱码，同时，后续提取字段值时需要指定这个特殊的分隔符，在p
Hive表中四种不同数据导出方式以及如何自定义导出列分隔符
oracle8090的博客
10-25 3216
文章转载于http://blog.csdn.net/niityzu/article/details/42238483 问题导读： 1、Hive表数据四种导出方式是？ 2、导出命令中LOCAL的作用及有无的区别？ 3、导出命令中是否可以向导入命令一样使用INTO？ 4、如何自定义导出文件的列分隔符？ 5、hive的-e和-f参数的作用及如何使用其来导出数据？ 6、hive sh
Hive数据导出教程：本地文件系统操作与分隔符解析
值得注意的是，导出的数据文件默认的列分隔符是`^A`，即ASCII码为`\001`的字符。这意味着在处理这些导出文件时，你需要考虑到这个特殊的分隔符。如果你需要使用其他分隔符，比如逗号或制表符，可以在`SELECT`语句中...
Hive Shell指令——数据导入方法、数据导出方法详解
weixin_43376907的博客
02-26 3029
Hive数据导入方法、数据导出方法总结一、Hive数据导入方法 ——六条1. 使用 load data 导入2.使用 Insert into / overwrite 导入3. 使用 As select 导入4. 使用Location导入5. 使用Import导入6. 使用Sqoop导入二、Hive数据导出方法——五条1. 使用 Insert overwrite 导出2. 使用 Hadoop 命令导...
大数据之-hive
weixin_43204767的博客
11-18 1762
1 hive环境搭建 2hive 安装 2.1 hive交互命令 1） “-e”不进入 hive 的交互窗口执行 sql 语句 [root@hadoop102 hive]# bin/hive -e “select * from test” 2） “-f”执行脚本中 sql 语句 bin/hive -f /opt/module/hive/datas/hivef.sql 主要运用写脚本时候使用的。 3 Hive数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar
mysql to hive_从MySQL到Hive，数据迁移就这么简单
weixin_29889741的博客
01-18 1162
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
hive分隔符_Hive自定义分隔符InputFormat
weixin_39774445的博客
12-19 643
转载：http://www.micmiu.com/bigdata/hive/hive-inputformat-string/Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过ROW FORMAT DELIMITED FIELDS TERMINATED BY指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以...
Hive中将查询结果导出到指定分隔符的文件中
DataFlow范式
06-27 9636
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。 在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01： hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr
hive自定义分隔符和处理Apache日志
奔跑的羚羊
02-17 126
[size=x-large]自定义分隔符[/size] 1.日志格式 [code="xml"] 2010-05-31 10:50:17|61.132.4.82|http://www.360buy.com/product/201185.html [/code] 分隔符是“ | ” 2.创建自定义分隔符的数据表 [code="java"]CREATE TABLE click_tes...
hive select语句输出指定分隔符
aaa1117a8w5s6d的专栏
07-21 1万+
在Hive0.11.0版本新引进了一个新的特性，也就是当用户将Hive查询结果输出到文件，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符，这样给我们带来了很大的不变，在Hive0.11.0之前版本我们一般是这样用的： 1 hive> insert overwrite local directory '/home/wyp/Documents/resul
Hive指定查询输出分隔符
hyy_blog
09-26 419
参考： https://blog.csdn.net/yeweiouyang/article/details/52560130
Hive多字符分割列
zhengrunjian的博客
11-11 4706
1 简介 此手册应用于hive建表时指定列按照多字段分割的情景。 2 准备 2.1 环境说明 hive版本: 1.1.0-cdh5.4.7 3 使用 3.1 使用说明 方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CREATE TABlE tableex3
Hive支持多分隔符
weixin_44769733的博客
12-18 331
一:hive支持多分隔符 前言: 需求:导出hive表中的数据,以|+|作为分隔符 多么大胆的需求啊,终于埋坑了! 关键字段: ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|+|") ...
Hive导出数据的分隔符问题
weixin_33860147的博客
06-28 503
为什么80%的码农都做不了架构师？>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值