hive建表脚本

HIVE="sudo -u hdfs hive"

db_name="chenzl"
table_name="kn1_base_conf_group"

$HIVE<< EOF
USE ${db_name};
DROP TABLE ${table_name};
CREATE EXTERNAL TABLE ${table_name}
(
day_key               date               comment'日期',
group_id               bigint               comment'组编号',
group_name               string               comment'组名称',
realgroup_id               bigint               comment'真实组编号',
realgroup_name               string               comment'真实组名称',
app_service_id               bigint               comment'应用服务编号',
app_service_name               string               comment'应用服务名称',
service_state               string               comment'服务状态',
node_id               bigint               comment'节点编号',
node_name               string               comment'节点名称',
area               string               comment'区域',
province               string               comment'省份',
isp               string               comment'运营商编码',
isp_cnname               string               comment'运营商名称',
province_name               string               comment'省份名称',
area_name               string               comment'大区'
)
COMMENT '组信息维度表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/user/hive/warehouse/dw/kn1_base_conf_group';
ALTER TABLE ${table_name} SET SERDEPROPERTIES('serialization.null.format'='');
EOF
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
要读取文件并生成Hive建表语句,可以按照以下步骤进行: 1. 首先,需要确定文件的格式和字段的分隔符。一般来说,Hive支持多种文件格式,如文本文件(CSV、TSV等)、Parquet、ORC等。同时,还需要知道字段的分隔符,通常是逗号、制表符或者其他自定义符号。 2. 使用Hive的LOAD DATA语句将文件加载到Hive表中。LOAD DATA语句用于将外部文件加载到Hive表中,并自动将文件的数据映射到Hive表的字段中。可以指定文件的路径、表名以及字段的分割符。 3. 查看加载的数据是否正确。可以使用Hive的SELECT语句从加载的表中查询数据,以确保数据加载正确。 4. 生成建表语句。可以通过Hive自带的工具或者编写自定义脚本来生成建表语句。如果使用Hive自带的工具,可以使用Hive的DESCRIBE表命令来查看表的元数据信息,并将元数据信息用于生成建表语句。如果使用自定义脚本,可以读取加载的表的元数据信息,然后根据元数据信息来生成建表语句。 5. 根据字段的类型和属性生成建表语句。根据表的字段类型和属性(如VARCHAR、INT、DECIMAL等)以及字段的分隔符,可以生成对应的建表语句。可以使用Hive的CREATE TABLE语句来创建表,并指定表的名称、字段列表、数据类型和数据分隔符等信息。 总结起来,要读取文件并生成Hive建表语句,首先加载文件到Hive表中,然后根据加载的数据和字段属性生成建表语句。最后,使用生成的建表语句创建Hive表。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值