CSV数据导入Parquet表

本文详细介绍了如何将CSV数据导入到Hive的Parquet表中,包括从SQL查询获取CSV文件,创建CSV和SequenceFile表,将CSV数据加载到这些表中,然后将数据转换并存储为Parquet格式,最后进行动态分区和数据验证。
摘要由CSDN通过智能技术生成
1,执行sql获取csv文件
select * from ad.click where month = 201412 and referralpage like 'http://weibo.com%'
2,将csv文件上传到服务器local:
/home/maoxiao/ad_weibo/data/click/201412.csv
3,创建csv表
CREATE TABLE maoxiao.click_csv(
  profile_id int  ,
  server_time STRING  ,
  gridsum_id string  ,
  client_ip string  ,
  referral_page string  ,
  referral_host string  ,
  ad_id string  ,
  os_brief string  ,
  os_detail string  ,
  browser_brief string  ,
  browser_detail string  ,
  dotnet_version string  ,
  is_mobile boolean  ,
  device_brand string  ,
  device_type string  ,
  device_name string  ,
  geo_code int  ,
  country string  ,
  province string  ,
  city string  ,
  district string  ,
  longitude float  ,
  latitude float  ,
  isp string ,
  year int,
  month int,
  day int
 ) row format delimited fields terminated by ',';

CREATE TABLE maoxiao.impression_csv(
    profile_id int  ,
  server_time STRING  ,
  gridsum_id string  ,
  client_ip string  ,
  referral_page string  ,
  referral_host string  ,
  ad_id string  ,
  os_brief string  ,
  os_detail string  ,
  browser_brief string  ,
  browser_detail string  ,
  dotnet_version string  ,
  is_mobile boolean  ,
  device_brand string  ,
  device_type string  ,
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值