hive如何处理多分隔符数据

最新推荐文章于 2024-06-16 20:11:13 发布
最新推荐文章于 2024-06-16 20:11:13 发布
阅读量6.7k 收藏 3
点赞数
分类专栏： 大数据生态圈 文章标签： 多分隔符 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunlei1980/article/details/46602445
版权
问题描述：
    大数据维稳需求中，客户提供的测试数据为多个字符做分隔符('|#'),在pig中会直接报错，hive中只认第一个分隔符。
由于数据量比较大（160G），在文本中替换成单个字符分隔符已不现实，以下提供两个方案解决这一问题。
 
样例数据
110|#警察
120|#医院
方案1：利用hive自带的序列化/反
最低0.47元/天 解锁文章
田小雨
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0738-6.2.0-如何在Hive中使用多分隔符
01-07
而Fayson在以前的文章中也基于C5的环境介绍过如何在Hive中使用多分隔符，参考《Hive多分隔符支持示例》。本文主要介绍在CDH6中如何让Hive支持多分隔符。 测试环境 1.Redhat7.2 2.CDH6.2.0 3.Hive2.1 数据准备 如何将...
大数据Hive测试数据uaction.rar
09-30
大数据通常涉及到PB级别的数据，而Hive作为大数据处理工具，可以处理这种规模的数据。"uaction"可能是指用户动作或行为，表示这些数据记录的是用户在使用服务时的行为模式。 在压缩包子文件的文件名称列表中，我们...
Hive的split函数，使用多个分隔符分割字符串
Greahow的博客
10-08 1万+
Hive的split函数，使用多个分隔符分割 ♠ ♥ ♦ ♣ 该文章仅为平时的笔记，非商用，如有侵权请联系博主删除 ♣ ♦ ♥ ♠ 在数据清洗时，有时候数据长得各种各样，例如年龄段就有：20-100岁、20—100岁、20~100岁、20~100岁各种看似一样，实际不相同的分隔符，使用split函数时就显得有点尴尬：regexp_extract(string subject, string pa...
Hive中split函数用法，切分多个分隔符分割字符串
是故事啊~关注我~
11-22 3552
在处理数据时，发现存入的字段数据分隔符多种多样，包含了英文逗号，中文逗号，中文顿号等奇葩符号混杂在数据中，可以使用split函数进行切分。
hive 数仓开发实战
最新发布
weixin_42435657的博客
06-16 1514
对于一个公司或者组织来说，使用数据的用户可能成百上千，如何降低大家对于数据使用的沟通成本、如何通过规范大家的行为来降低使用数据的风险，这些问题是必须加以考虑的。作为新的大数据架构，数据湖采集和存储一切数据，既包含结构化的数据也包含非结构化（如语音、视频等）和半结构化的数据（如JSON 和XML 等），既包含原始数据又包含经过处理的、集成的数据。数据湖鼓励分析师和数据科学家对原始数据在分析沙箱中进行探索、研究、实验，对于有价值的数据，再和数据开发、管理团队一起将其转为更容易操作和使用的数据。
关于hive建表设置多字符分隔符问题
weixin_45952227的博客
04-19 1912
关于hive建表设置多字符分隔符问题 解决方式：ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="@!@") STORED AS TEXTFILE; 遇到问题 执行建表语句，报错 解决办法 将/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/contrib/
Hive_分隔符问题参考
chuyang4613的博客
01-22 338
PIG中输入输出分隔符默认是制表符\t，而到了hive中，默认变成了八进制的\001，也就是ASCII： ctrl - AOct Dec Hex ASCII_Char 001 1 01 SOH (start of heading)官方的解释说是尽量不和文中的...
hive：编写java代码，将文本中的分隔符替换成\001
啥也不会的博客
08-10 2470
需求 将sql-server中的数据导入到hive，但是没有informatic的权限，又不想麻烦别人，好在数据量较小，可以手动查询之后，保存在txt文件里，再load进hive。但是hive表中的分隔符是\001，而查询出的结果是以\t分割，所以需要将\t修改为\001。 思路 1.编写代码，使用jdbc链接数据库，将查询结果以\001分割，并写进文件。 2.在sql-server客户端查询，将结果粘贴进txt文件，编写代码读取文件内容，并修改分隔符，写进新文件。 由于没有数据库链接权限，所以只
Hive多字节分隔符解决方案.docx
10-26
面对情况一，如果数据中的分隔符是多字节分隔符，可以使用程序提前将数据中的多字节分隔符替换为单字节分隔符，然后使用Hive加载，就可以实现正确加载对应的数据。 ### 解决方案二：RegexSerDe正则加载 RegexSerDe...
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
基于 Hive的数据分析案例 -MM聊天软件数据分析
06-16
数据来源于聊天业务系统中导出的 2021 年 11 月 01 日当天 24 小时的用户聊天数据，共 14 万条数据，以 TSV 文本形式存储在文件中，分隔符为制表符 \t。数据获取链接为 ...
hive中分隔符‘\001’到底是什么鬼
weixin_30410119的博客
07-10 1万+
答：hive中的默认的是‘\001’是一种特由的分隔符 使用的是ascii编码的值，键盘是打不出来的。 转载于:https://www.cnblogs.com/alexzhang92/p/11161507.html
hive分隔符\001和\011与\x03 用pandas切割时出现的问题
干货
11-28 1万+
hive导出数据，想找一个分隔符。hive默认分隔符是“\001”。想换个其他的。在ASCII码对照表中找了下，决定用“\0011”。 然后Hive能正常数据，到notepad++里面显示的字符和ASCII码对照表里的是一样的。 但是在用“\011”切割时，切割不出，且字段首位不能有空格。 后来用“EmEditor”打开这个文件，使用查找替换功能时，发现这个字符被显示为“\x03”。 所以在...
Shell编写hive脚本时，特殊字符“\”的处理
靓仔！——没错！我叫你呢！
06-10 727
#!/bin/bash HIVE_SQL=" SELECT * FORM T1 left join T2 --注意，这里因为是shell的字符串，要用\\转义\d，因为shell中 \\ 代表 \ --shell \ 将特殊符号字符的特殊含义屏蔽掉，使其还是原字符 --\\\d ，第一个\是shell中转义，第二个\是sql中字符串转义，第三个才是\d ON regexp_replace(T1.fund_type,'_(\\\d)+','') = T2.
Hive默认分隔符介绍
这家伙懒，很懒，非常懒！
04-16 605
1 保证数据完整性，在数据抽取存储中通过该分隔符进行分割，非常有效组织了和数据内容冲突的情况。ETL清洗中最为明显。这不是真正的’\001’，其实是使用八进制编码\001表示，以下为该分隔符使用和编辑的方法。Hive建表时，默认使用的分隔符时候一个特殊的字符，查看表决结构时候是一个’\001’1 作为key时候shell中不好进行拼接查询，比如hbase.redis等。2 很多导入导出工具，不支持多字符分隔符情况单字符满足不了数据切分时。2 临时操作时不好进行展示，对不知道该分隔符的人会认为没有进行切分。
Hive 特殊分隔符处理
Transkai
03-30 453
HIVE特殊分隔符处理 Hive对文件中的分隔符默认情况下只支持单字节分隔符，,默认单字符是\001。当然你也可以在创建表格时指定数据的分割符号。但是如果数据文件中的分隔符是多字符的，如下图： 01||zhangsan 02||lisi 03||wangwu 补充：hive读取数据的机制 1、首先用inputformat的一个具体的实现类读取文件数据，返回一条条的记录(可以是行，或者是你逻辑中的...
12.Hive多分隔符支持实战
大勇若怯任卷舒
06-11 382
12.1 实验目标描述 要将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下： 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#$test2name@#$test2value test3@#$test3name@#$test4value 如何将上述事例数据加载到Hive表(multi_delimiter_test)中，表结构如下： Hive在0.14及以后版本支持字段的多分隔符 12.2 实验操作 实验环境说明 实验环
hive -e 和hive -f 的注意点 (//和////)
热门推荐
lsr40的博客
08-10 3万+
原谅我张嘴可能就想骂人，当然跟别人无关，想骂的是自己太年轻，也顺便记录下这个注意点。 菜鸟一只，多多见谅！！   大家都知道，hive -f 后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive -e 后面是直接用双引号拼接hivesql，然后就可以执行命令。 但是，有这么一个东西，我的sql当中有一个split切割，暂且先不管这个分割的业务逻辑是什么，但是...
hive中的表操作
mhw666的博客
06-21 426
导入数据： 1、`load data local inpath '/root/tes.txt' into table test.usr;` 将本地的数据导入到hive中 2、`load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te;` 从hdfs集群导入数据 LOAD DATA命令，可分为LOAD DAT...
hive多字节分隔符处理方法
01-14
根据提供的引用内容，以下是Hive处理多字节分隔符的方法： 1. 使用正则表达式：可以使用正则表达式来处理多字节分隔符。在Hive中，可以使用`regexp_replace`函数将多字节分隔符替换为单字节分隔符。例如，假设我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值