hive数据迁移（跨集群，中文乱码问题）

命令： hadoop distcp -skipcrccheck -update hdfs://132.bd:8020/tmp/ds10/ hdfs://chinacreator/tmp/ds10/

在目标集群上执行此命令

源地址：hdfs://132.bd:8020/tmp/ds10/

目标地址：hdfs://chinacreator/tmp/ds10/

-skipcrccheck 因本次迁移涉及低版本迁移高版本
-update 增量更新, 通过名称和大小比较,源与目标不同则更新

 

hive高版本中需要将hive.strict.managed.tables修改为false

 

hive字段为中文解决方式：

alter table COLUMNS_V2 modify column COLUMN_NAME varchar(255) character set utf8;

其他字段注释/表注释/分区字段注释/索引注释，有关中文问题执行如下5条命令：

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;