Hive导出数据的分隔符问题

最新推荐文章于 2022-05-06 13:48:45 发布
最新推荐文章于 2022-05-06 13:48:45 发布
阅读量496 收藏
点赞数
文章标签： 大数据
原文链接：https://my.oschina.net/sucre/blog/702437
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

今天用Hive导数据的时候，习惯的写下了如下代码

INSERT OVERWRITE LOCAL DIRECTORY '/home/sucre/loan'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '#\$'

怎么样？乍一看没有问题吧？可是导出的数据中是有问题的，里面只有#号，而没有$符，查了官方的文档才知道，这里的分隔符只能一个单字符，不能是多个字符，看来思考问题要全面了，不能凭总以为写东西了。

转载于:https://my.oschina.net/sucre/blog/702437

weixin_33860147
关注
【大数据Hive】hive 多字段分隔符使用详解
congge_study的博客
03-03 6616
hive 多字段分隔符使用详解
hive 导出数据分隔符
韩王-信
09-02 2786
hive导出数据的分隔符为^A, 通常需要以下来替换 [leo@hadoop orgplan]$ sed  -i "s/^A/\t/g" orgplan
Hive支持多分隔符
weixin_44769733的博客
12-18 315
一:hive支持多分隔符 前言: 需求:导出hive表中的数据,以|+|作为分隔符 多么大胆的需求啊,终于埋坑了! 关键字段: ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|+|") ...
HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符
scjthree的专栏
05-23 1159
HIVE数据导出是比较简单的，直接用HIVE自带的命令即可：hive -e "select * from prs.prs_goods_b2b" > prs_goods_b2b从HIVE中导出表数据到本地文件中但是导出来的数据是用HIVE自带的分隔符。查了下貌似HIVE没有导出数据指定分割符的语句。看起来只能在linux里处理了 刚刚打开还以为是空格作为分隔符，所以直接用sed -i 's/ /,/
Hive应用：选取分隔符
阿正的博客
04-22 7906
在使用hive的时候，分隔符是必不可少的，当学习的时候使用的都是常规分隔符，比如：逗号“,”、竖线“|”等，这些键盘上都可以直接输入的字符，但是这些字符只要是键盘上的，在针对复杂的业务逻辑的时候，都会失效。 比如你有一个备注字段，这个字段允许用户输入输入键盘上的任何字符，一旦用户输入了你选择的分隔符，那么Hive在使用这个数据的时候，就会导致hive表中的字段错位。 使用多个组合字符，也可以成...
Hive中将查询结果导出到指定分隔符的文件中
DataFlow范式
06-27 9599
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。 在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01： hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr
Hive表中四种不同数据导出方式以及如何自定义导出列分隔符
NIITYZU的专栏
12-29 1万+
Hive四种数据导出方式介绍
Kettle 抽取导出hive 数据 到 文本文件问题——分隔符
LIdahai_daylife的博客
07-29 1592
Kettle 抽取导出hive 数据 到 文本文件问题——分隔符 表输入中遇到两个问题，1是 字段太长，无法识别，需要转换成String 2是 中文内容中有英文逗号，我选择英文逗号作为分隔符后导致不该被分割的内容被切开 所有需要注意的地方都用红框框了出来 注意kettle date类型导出来是2019/07/28 这种分隔符 所以要在文本文件输出指定格式 并且注意 更改原来自带的Timestamp 为Date 格式，否则hive映射会失败，显示NULL 最后说说今天学到的东西 本来觉得时
hive的数据导入与数据导出：（本地，云hdfs，hbase），列分隔符的设置，以及hdfs上传给pig如何处理
热门推荐
longshenlmj的专栏
11-26 2万+
1数据导入-------------- CREATE EXTERNAL TABLE wizad_mdm_dev_lmj_edition_20141120 ( cookie_id STRING, guid STRING  ) ROW FORMAT DELIMITED  FIELDS TERMINATED BY ','  LINES TERMINATED BY '\n' stored a
hive分隔符引发的坑
weixin_49063354的博客
04-07 683
hive分隔符引发的坑 ​ 这两天在做公司 BPM 系统数据分析的工作，前期需要将 BPM 系统的数据导入到 HDFS 上，BPM 系统数据存储在 SQL Server 上，导入数据工具选择 Sqoop ，按照 Sqoop 操作惯例，需要先下载相应的驱动 jar 包，这里是网上下载的 mssql-jdbc-7.4.1.jre8.jar（图示上为 sql server 的驱动 jar 包，下为 mysql 的驱动 jar 包）； ​ 然后将下好的 jar 包上传到 Sqoop 的 lib 目录下； ​
hive 导出数据并指定分隔符
weixin_41634597的博客
05-06 6011
需求：使用beeline，将hive数据导出到本地服务器，TXT 格式，分隔符为‘|+|’。 实现 实现方式分为两种： 1、insert overwrite 将结果导出到文件，并指定分隔符 举例： insert overwrite local directory ‘/home/data/test.txt’ row format delimited fields terminated by ‘|+|’ select * from table; 2、hive -f 或者hive-e beeline -u jdb
hive数据导出至本地文件，如何指定分隔符
Forever-守望
12-21 2万+
有时候需要将hive库中的部分数据导入至本地，这样子做可视化和小规模的数据挖掘实验都是比较方便的。数据导入至本地的HQL语法如下： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1;但是hive对字段分隔时默认使用的分隔符是^A，使用文本编辑器打开文件显示出来就是乱码，同时，后续提取字段值时需要指定这个特殊的分隔符，在p
hive建外表时默认分隔符错误导致行数增加和数据错误
源码物语
05-12 2273
hive根据hdfs建立外表时，一般使用这种格式规范： ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 这种方式识别的默认行分隔符其实并不只是行分隔符'\n'，还包括'\r'，'\r\n'，'\u0001'，'\u0002'，'\u0003' 因此有如果字段中存在'\r'，可能会导致外表行数与预期不一致的增加 这种处理应该是为了兼容windows
hive导出到csv hive导出到excel
yy的博客
11-19 5050
-- 导出到csv 逗号分隔 列中字符串含逗号容易冲突 hive -e "set hive.cli.print.header=true;set hive.tez.container.size=3020;set hive.execution.engine=tez;select * from dwd.dwd_fact_issue_issue_and_reply" | sed 's/[\t]/,/g' > ./res.csv -- 导出到文本 \t分隔 方便复制到excel hive -e "s
改变hive导出文件的分隔符
weixin_30493321的博客
05-28 446
工作中遇见一个问题。 hive>insert overwrite local directory '/home/hadoop/tmp/ts' select 列1，列2，列3 from table; 这样导出 含有 特殊字符，数据不能直接导入到excel表格中，UE或sublime打开也都存在特殊字符。特殊字符是hive预定义的，具体可以看官方文档。 使用 '\t' （即TAB键...
Hive 导出数据按逗号分隔
我是小坏
08-30 6858
1、若数据文件格式恰好是用户需要的格式，只需简单的使用hdfs 命令copy即可   hadoop  fs - cp source_path target_path  2 、使用 INSERT .... DIRECTORY.... ,如下面例子所示: INSERT OVERWRITE  LOCAL DIRECTORY '/home/hadoop/stu' SELECT ID,NAME,AG...
hive 使用load导入数据时是否可以指定分隔符
weixin_33701251的博客
02-23 4248
hive load数据只是单纯的把文件拷贝到hdfs的相应目录下面，并不作格式检查和解析只有在查询数据的时候，才会根据创建表时定义的序列化方式解析数据建表的时候可以指定分隔符 转载于:https://blog.51cto.com/yntmdr/1744290...
hive导出文件并制定分隔符0X01
最新发布
07-10
如果你想要从Hive表中导出数据到文本文件，并指定分隔符为0x01（十六进制的1），你可以使用`SELECT ... INTO LOCAL FILE`或者`INSERT OVERWRITE DIRECTORY`命令。 例如，使用`INTO LOCAL FILE`： ```sql SELECT * ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值