HIVE建表读取CSV文件数据

HIVE建表读取CSV文件数据

事由

读取log日志文件,存储到csv 格式,再load到hive表,发现所有的csv列均存储到hive表的首个字段钟,hive建表语句

 CREATE TABLE test.dbl_20clw_base (
  sbbh STRING, 
  spn STRING, 
  spnname STRING, 
  fmi STRING, 
  fminame STRING, 
  gzsj STRING, 
  exchangecode STRING
)
PARTITIONED BY (
  pdate STRING
)

解决办法

查看成功事例,发现是未指定hive表的行分隔符和列分隔符

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
读取文件并生成Hive建表语句,可以按照以下步骤进行: 1. 首先,需要确定文件的格式和字段的分隔符。一般来说,Hive支持多种文件格式,如文本文件CSV、TSV等)、Parquet、ORC等。同时,还需要知道字段的分隔符,通常是逗号、制表符或者其他自定义符号。 2. 使用Hive的LOAD DATA语句将文件加载到Hive表中。LOAD DATA语句用于将外部文件加载到Hive表中,并自动将文件数据映射到Hive表的字段中。可以指定文件的路径、表名以及字段的分割符。 3. 查看加载的数据是否正确。可以使用Hive的SELECT语句从加载的表中查询数据,以确保数据加载正确。 4. 生成建表语句。可以通过Hive自带的工具或者编写自定义脚本来生成建表语句。如果使用Hive自带的工具,可以使用Hive的DESCRIBE表命令来查看表的元数据信息,并将元数据信息用于生成建表语句。如果使用自定义脚本,可以读取加载的表的元数据信息,然后根据元数据信息来生成建表语句。 5. 根据字段的类型和属性生成建表语句。根据表的字段类型和属性(如VARCHAR、INT、DECIMAL等)以及字段的分隔符,可以生成对应的建表语句。可以使用Hive的CREATE TABLE语句来创建表,并指定表的名称、字段列表、数据类型和数据分隔符等信息。 总结起来,要读取文件并生成Hive建表语句,首先加载文件Hive表中,然后根据加载的数据和字段属性生成建表语句。最后,使用生成的建表语句创建Hive表。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值