hdfs
文章平均质量分 70
小_胖子
这个作者很懒,什么都没留下…
展开
-
hive orc 文件copy
1. 确认数据范围2. 确认原表与目标表的表结构是否一致· Beeline 登录大数据平台· 执行show create table tablename查看表结构· 比对表结构3. 查看源表的location· show create table tablename4. 生成取数的命令,并执行· hadoop fs -du -h...原创 2018-05-31 17:14:47 · 653 阅读 · 0 评论 -
hive 历史数据迁移 一
需要注意的点:1. 导出文件的字符集 hive中的数据字符集只有utf8,如果导出的文件为GBK,在serde不做特殊处理时,临时表中会存在乱码的情况。 3种方案: 1.导出文件时,做转码。 注:如db2 指定codepage,需注意一点:数据库字段约束长度问题,GBK与UTF8不一致,如果数据库表在设计时没有考虑字段长度扩充问题,不建议使用指定字符集,会产生字...原创 2018-05-31 17:19:23 · 649 阅读 · 0 评论 -
create table 基本参数解释
CREATE [EXTERNAL]① TABLE [IF NOTEXISTS] table_name [(col_namedata_type [COMMENT col_comment], ...)]②[COMMENTtable_comment]③[ [COMMENT col_comment], ...)]④[CLUSTERED BY(col_name, col_name, ...) ⑤...原创 2018-05-31 17:48:13 · 6536 阅读 · 0 评论