hive中导入csv_hadoop hive中怎么导入带引号的csv文件?

这边有个项目开始用hadoop来做数据分析,我们拿到一个csv文件,每一列都是双引号.格式如下

“cola1″,”colb1″,”colc1”

“cola2″,”colb2″,”colc2”

现在想问下,在load数据到hive里面怎么过滤掉这个双引号?

—————————–update 20140626—————————-

–能导成CSV的数据,真的需要用Hive吗?导给MySQL是不是更好?

现在还在demo阶段,给了一个csv文件尝试做处理,未来肯定是sqoop去很多上游导数据。

昨天晚上实践了下,解决方法有几种

1),对csv文件做处理

2),hive定义inputstream,用正则表达式处理

2.1)cat /home/alex/test/testdata.txt

“1”,”alex”,”dba”

“2”,”james”,”dba”

2.2)hive> create table test_serde(c1 string,c2 string, c3 string) ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’ WITH SERDEPROPERTIES (‘input.regex’ = ‘\”(.*)\”,\”(.*)\”,\”(.*)\”‘,’output.format.string’ = ‘%1$s\\001%2$s\\001%3$s’) STORED AS TEXTFILE;

OK

Time taken: 0.09 seconds

2.3)hive> load data local inpath ‘/home/alex/test/testdata.txt’ ov

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值