hive数据清洗过程csv表格字段出现分割符逗号的解决方案

在创建表进行数据清洗的过程中 csv表格字段中可能存在csv表格的分割符号 ,如图
在这里插入图片描述
此时如果还是按照原来的写法:

%hive
create external table if not exists ext_transaction_details(
transaction_id string,
customer_id string,
store_id string,
price string,
product string,
`date` string,
time string
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile tblproperties("skip.header.line.count"="1")

则会出现字段占用下一字段的情况。
如图
在这里插入图片描述
此时就要进行重新建表 并且添加serde这个方法

删表重建:

%hive
create external table if not exists ext_transaction_details(
transaction_id string,
customer_id string,
store_id string,
price string,
product string,
`date` string,
time string
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with serdeproperties (
    'separatorChar' = ',',   
    'quoteChar' = '\"',
    'escapeChar' = '\\'
) 
stored as textfile tblproperties("skip.header.line.count"="1")

'separatorChar' = ',',:表示分割符是,
'quoteChar' = '\"',:表示引用符号的 " \是用来转义的
'escapeChar' = '\\':表示无效字段

这几句话表示分割符号是,但是在引用符号""中间的字段是无效字段不进行,的分割。
此时重新创表查询

%hive
create external table if not exists ext_transaction_details(
transaction_id string,
customer_id string,
store_id string,
price string,
product string,
`date` string,
time string
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with serdeproperties (
    'separatorChar' = ',',
    'quoteChar' = '\"',
    'escapeChar' = '\\'
) 
stored as textfile tblproperties("skip.header.line.count"="1")

在这里插入图片描述
如图 字段不进行分割 不会再出现占用字段的情况。

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值