hive建表注释中文乱码问题（desc/show create table中文乱码问题）

最新推荐文章于 2024-06-18 16:02:07 发布
最新推荐文章于 2024-06-18 16:02:07 发布
阅读量4.5k 收藏 13
点赞数 6
分类专栏： # Hive 文章标签： hive mysql 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45124566/article/details/121724876
版权

Hive建表注释中文乱码问题（desc/show create table）

hive建表注释中文乱码问题

问题描述：

create table test(
  id int comment '测试id',
  name string comment '测试姓名'
)
comment '测试用表';

使用上述建表语句，建表完成后，使用desc test/desc formatted test或者show create table test，看见的中文解释均为乱码。

问题原因：

针对 MySQL 字符集的问题：

普通情况下咱们的 mysql 默认编码是 latin1，但是我们在日常开发中大多数情况下需要用到 utf-8 编码，如果是默认 latin1 的话,咱们的中文存储进去容易乱码，所以说大家在遇到一些数据乱码的情况话,最好把 MySQL 的编码改成utf-8。

但是在这里要非常严重强调的一点：hive 的元数据 metastore 在 MySQL 的数据库，不管是数据库本身，还是里面的表编码都必须是 latin1(CHARACTER SET latin1 COLLATE latin1_bin)！！！！不然会有报错。

验证方式：(可以通过客户端软件在数据库上右键属性查看,也可以通过命令查看)

mysql> show create database metastore; --此处metastore是自己所用hive在mysql中的元数据库;

+-----------+-----------------------------------------------------------------------+
| Database  | Create Database                                                       |
+-----------+-----------------------------------------------------------------------+
| metastore | CREATE DATABASE `metastore` /*!40100 DEFAULT CHARACTER SET latin1     |
|           | COLLATE latin1_bin */                                                 |
+-----------+-----------------------------------------------------------------------+

针对 MySQL 字符集的问题的解决：

  1. 针对MySQL 本身的字符集问题

  • 查看 MySQL 字符集

    登录mysql

    [root@hadoop102 ~]$ mysql -u root -p

    查询 mysql 字符集

    mysql> show variables like 'chara%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

    将 character_set_server 字符集设置为 UTF-8。

  • 通过修改配置文件设置 MySQL 字符集为 UTF-8，将 my-default.cnf 配置文件复制到 /etc 下的 my.cnf 文件中

    [root@hadoop102 ~]$ cp /usr/share/mysql/my-default.cnf /etc/my.cnf

    进入 etc目录下打开 my.cnf 文件 ，对 my.cnf 进行修改，修改内容如下。

    [root@hadoop102 ~]$ vim /etc/my.cnf
##在[mysqld]上面加入下面两句话
[client]
default-character-set=utf8

##在[mysqld]最下面加入下面几句话
[mysqld]
default-storage-engine=INNODB
character-set-server=utf8
collation-server=utf8_general_ci

  • 修改完成之后进行保存，然后重启 MySQL 服务

    [root@hadoop102 mysql]$ service mysql restart
Shutting down MySQL..........                              [确定]
Starting MySQL....                                         [确定]
[root@hadoop102 mysql]$ service mysql status
MySQL running (25434)                                      [确定]

  • 再次登录 MySQL ，查看字符集是否修改

    [root@hadoop102 ~]$ mysql -u root -p

    再次查询 MySQL 字符集

    mysql> show variables like 'chara%';
...
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.02 sec)

    或者

    mysql> \s
...
Server characterset:    utf8
Db     characterset:    utf8
Client characterset:    utf8
Conn.  characterset:    utf8
...

    mysql> show variables like "colla%";
+----------------------+-----------------+
| Variable_name        | Value           |
+----------------------+-----------------+
| collation_connection | utf8_general_ci |
| collation_database   | utf8_general_ci |
| collation_server     | utf8_general_ci |
+----------------------+-----------------+

    这样MySQL的编码就修改成功了！

  1. 针对Hive元数据库metastore中的表，分区，视图的编码设置

    因为我们知道 metastore 支持数据库级别，表级别的字符集是 latin1，那么我们只需要把相应注释的地方的字符集由 latin1 改成 UTF-8，就可以了。用到注释的就三个地方，表、分区、视图。如下修改分为两个步骤：

  • 进入数据库 metastore 中执行以下 5 条 SQL 语句

    -- 修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
-- 修改分区字段注解：
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
-- 修改索引注解：
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

这样针对 MySQL 的问题我们就解决完成了。

然后我们登录 Hive，再次使用 desc test/desc formatted test 就可以看到中文了，不会乱码，但是我们使用 show create table test 还是会乱码，这个是 Hive 本身的问题，我们需要编译 Hive 的源码来解决。

针对Hive 字符集的问题：

desc table_name 没问题，show create table table_name 还是显示乱码，这是一个Hive社区bug。另外，社区对中文的支持比较弱，尽量避免在SQL语句中写中文，实际数据有中文没关系。

针对Hive 字符集的问题的解决：

Hive源码编译

下载Maven：https://archive.apache.org/dist/maven/maven-3/3.5.3/binaries/

Maven版本3.5.3

Hive源码下载：http://archive.apache.org/dist/hive/hive-1.2.1/

Hive版本1.2.1

上传两个下载好的包

解压Maven

[root@hadoop102 software]$ tar -zxvf apache-maven-3.5.3-bin.tar.gz -C /opt/module/

改名（可改可不改，看自己）

[root@hadoop102 software]$ cd /opt/module/
[root@hadoop102 module]$ mv apache-maven-3.5.3/ maven-3.5.3/

配置环境变量

[root@hadoop102 module]$ vim /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export ZOO_HOME=/opt/module/zookeeper-3.4.10
export PATH=$PATH:$ZOO_HOME/bin

export HIVE_HOME=/opt/module/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin

export MAVEN_HOME=/opt/module/maven-3.5.3
export PATH=$PATH:$MAVEN_HOME/bin

source 使配置文件生效

[root@hadoop102 module]$ source /etc/profile

验证maven是否配置成功

[root@hadoop102 module]$ mvn -version
Apache Maven 3.5.3 (3383c37e1f9e9b3bc3df5050c29c8aff9f295297; 2018-02-25T03:49:05+08:00)
Maven home: /opt/module/maven-3.5.3
Java version: 1.8.0_144, vendor: Oracle Corporation
Java home: /opt/module/jdk1.8.0_144/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-642.el6.x86_64", arch: "amd64", family: "unix"

替换maven镜像，可提高下载速度

  <mirrors>
    <!-- mirror
     | Specifies a repository mirror site to use instead of a given repository. The repository that
     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
     |
    <mirror>
      <id>mirrorId</id>
      <mirrorOf>repositoryId</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <url>http://my.repository.com/repo/path</url>
    </mirror>
     -->

     <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>        
     </mirror>
  </mirrors>

上传源码包apache-hive-1.2.1-src.tar.gz 至 /usr/local/workspace (位置随意，自己清楚就行)

解压

[root@hadoop102 workspace]$ cd /usr/local/workspace
[root@hadoop102 workspace]$ tar -zxvf apache-hive-1.2.1-src

进入到解压后的文件根目录下

[root@hadoop102 workspace]$ cd apache-hive-1.2.1-src

[root@hadoop102 apache-hive-1.2.1-src]$ cd ql/src/java/org/apache/hadoop/hive/ql/exec/

[root@hadoop102 exec]$ vim DDLTask.java

COMMENT 后面的东西变成了乱码了。。。是我MySQL中元数据字符集不对吗？其实不是，罪魁祸首是Hive内部的代码没有处理好中文。我们可以修改ql/src/java/org/apache/hadoop/hive/ql/exec/DDLTask.java类中的两句代码：

将

outStream.writeBytes(createTab_stmt.toString());

改成

outStream.write(createTab_stmt.toString().getBytes("UTF-8"));

同时将

outStream.writeBytes(createTab_stmt.render());

改成

outStream.write(createTab_stmt.render().getBytes("UTF-8"));

进入Hive源码根目录下(/usr/local/workspace/apache-hive-1.2.1-src，此处是我自己的目录，根据自己的实际目录来)编译Hive源码

执行编译命令：

[root@hadoop102 apache-hive-1.2.1-src]$ mvn clean package -Phadoop-2 -DskipTests

等待一段时间，出现以下内容表示编译成功：

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Hive 1.2.1 ......................................... SUCCESS [ 21.971 s]
[INFO] Hive Shims Common .................................. SUCCESS [  6.247 s]
[INFO] Hive Shims 0.20S ................................... SUCCESS [  1.812 s]
[INFO] Hive Shims 0.23 .................................... SUCCESS [ 22.994 s]
[INFO] Hive Shims Scheduler ............................... SUCCESS [  1.804 s]
[INFO] Hive Shims ......................................... SUCCESS [  1.639 s]
[INFO] Hive Common ........................................ SUCCESS [  7.101 s]
[INFO] Hive Serde ......................................... SUCCESS [01:09 min]
[INFO] Hive Metastore ..................................... SUCCESS [03:55 min]
[INFO] Hive Ant Utilities ................................. SUCCESS [ 15.772 s]
[INFO] Spark Remote Client ................................ SUCCESS [14:57 min]
[INFO] Hive Query Language ................................ SUCCESS [08:13 min]
[INFO] Hive Service ....................................... SUCCESS [02:19 min]
[INFO] Hive Accumulo Handler .............................. SUCCESS [32:07 min]
[INFO] Hive JDBC .......................................... SUCCESS [ 17.203 s]
[INFO] Hive Beeline ....................................... SUCCESS [ 40.589 s]
[INFO] Hive CLI ........................................... SUCCESS [ 41.483 s]
[INFO] Hive Contrib ....................................... SUCCESS [  1.790 s]
[INFO] Hive HBase Handler ................................. SUCCESS [03:35 min]
[INFO] Hive HCatalog ...................................... SUCCESS [01:23 min]
[INFO] Hive HCatalog Core ................................. SUCCESS [ 21.449 s]
[INFO] Hive HCatalog Pig Adapter .......................... SUCCESS [ 41.616 s]
[INFO] Hive HCatalog Server Extensions .................... SUCCESS [02:49 min]
[INFO] Hive HCatalog Webhcat Java Client .................. SUCCESS [  2.582 s]
[INFO] Hive HCatalog Webhcat .............................. SUCCESS [02:51 min]
[INFO] Hive HCatalog Streaming ............................ SUCCESS [  5.170 s]
[INFO] Hive HWI ........................................... SUCCESS [  1.551 s]
[INFO] Hive ODBC .......................................... SUCCESS [  0.900 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.133 s]
[INFO] Hive TestUtils ..................................... SUCCESS [  0.512 s]
[INFO] Hive Packaging 1.2.1 ............................... SUCCESS [  3.053 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:17 h
[INFO] Finished at: 2021-12-05T00:19:56+08:00
[INFO] ------------------------------------------------------------------------

编译时长根据你网络环境，最好配置成公司的Maven仓库（默认在~/.m2）。如果你需要将编译好的文件进行打包，可以运行下面的命令：

执行打包命令

[root@hadoop102 apache-hive-1.2.1-src]$ mvn clean package -Phadoop-2 -DskipTests -Pdist

出现如下命令，证明打包编译成功

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Hive 1.2.1 ......................................... SUCCESS [  8.287 s]
[INFO] Hive Shims Common .................................. SUCCESS [ 10.172 s]
[INFO] Hive Shims 0.20S ................................... SUCCESS [  4.348 s]
[INFO] Hive Shims 0.23 .................................... SUCCESS [  8.410 s]
[INFO] Hive Shims Scheduler ............................... SUCCESS [  2.085 s]
[INFO] Hive Shims ......................................... SUCCESS [  1.981 s]
[INFO] Hive Common ........................................ SUCCESS [ 17.277 s]
[INFO] Hive Serde ......................................... SUCCESS [  8.610 s]
[INFO] Hive Metastore ..................................... SUCCESS [ 26.505 s]
[INFO] Hive Ant Utilities ................................. SUCCESS [  0.793 s]
[INFO] Spark Remote Client ................................ SUCCESS [ 10.517 s]
[INFO] Hive Query Language ................................ SUCCESS [03:14 min]
[INFO] Hive Service ....................................... SUCCESS [ 11.423 s]
[INFO] Hive Accumulo Handler .............................. SUCCESS [  7.155 s]
[INFO] Hive JDBC .......................................... SUCCESS [01:16 min]
[INFO] Hive Beeline ....................................... SUCCESS [  3.501 s]
[INFO] Hive CLI ........................................... SUCCESS [  2.547 s]
[INFO] Hive Contrib ....................................... SUCCESS [  2.442 s]
[INFO] Hive HBase Handler ................................. SUCCESS [ 10.001 s]
[INFO] Hive HCatalog ...................................... SUCCESS [  1.465 s]
[INFO] Hive HCatalog Core ................................. SUCCESS [  5.774 s]
[INFO] Hive HCatalog Pig Adapter .......................... SUCCESS [  3.933 s]
[INFO] Hive HCatalog Server Extensions .................... SUCCESS [  4.044 s]
[INFO] Hive HCatalog Webhcat Java Client .................. SUCCESS [  3.594 s]
[INFO] Hive HCatalog Webhcat .............................. SUCCESS [ 19.550 s]
[INFO] Hive HCatalog Streaming ............................ SUCCESS [  2.780 s]
[INFO] Hive HWI ........................................... SUCCESS [  2.134 s]
[INFO] Hive ODBC .......................................... SUCCESS [  1.827 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.209 s]
[INFO] Hive TestUtils ..................................... SUCCESS [  0.823 s]
[INFO] Hive Packaging 1.2.1 ............................... SUCCESS [03:00 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 10:34 min
[INFO] Finished at: 2021-12-05T00:45:50+08:00
[INFO] ------------------------------------------------------------------------

完成后可以去"/usr/local/workspace/apache-hive-1.2.1-src/packaging/target/"目录下找到"apache-hive-1.2.1-bin"编译好的hive文件，在此文件下找到并在此文件的lib目录下找到"hive-exec-1.2.1.jar"包替换自己原来Hive的lib目录下的"hive-exec-1.2.1.jar"包。

[root@hadoop102 lib]$ cp /usr/local/workspace/apache-hive-1.2.1-src/packaging/target/apache-hive-1.2.1-bin/apache-hive-1.2.1-bin/lib/hive-exec-1.2.1.jar /opt/module/hive-1.2.1/lib/

注意：此处我们用的是root用户编译的 Hive 源码，要是之前用的是 Hive 是其他用户，记得要修改复制后的"hive-exec-1.2.1.jar"包的权限。

然后重新启动Hive客户端，然后执行 show create table table_name 就能正常显示中文了！！！

编译Hive出现的错误：

  1. 替换Maven镜像的位置

    错误：

    [INFO] Hive 1.2.1 ......................................... FAILURE [  01:02 h]
[INFO] Hive Shims Common .................................. SKIPPED
[INFO] Hive Shims 0.20S ................................... SKIPPED
[INFO] Hive Shims 0.23 .................................... SKIPPED
[INFO] Hive Shims Scheduler ............................... SKIPPED
[INFO] Hive Shims ......................................... SKIPPED
[INFO] Hive Common ........................................ SKIPPED
[INFO] Hive Serde ......................................... SKIPPED
...

[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:02 h
[INFO] Finished at: 2021-12-02T22:31:14+08:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:3.3:attach-descriptor (attach-descriptor) on project hive: Execution attach-descriptor of goal org.apache.maven.plugins:maven-site-plugin:3.3:attach-descriptor failed: Plugin org.apache.maven.plugins:maven-site-plugin:3.3 or one of its dependencies could not be resolved: The following artifacts could not be resolved: org.apache.maven.reporting:maven-reporting-exec:jar:1.1, org.apache.maven:maven-artifact:jar:3.0, org.apache.maven.shared:maven-shared-utils:jar:0.3, com.google.code.findbugs:jsr305:jar:2.0.1, org.apache.struts:struts-taglib:jar:1.3.8: Could not transfer artifact org.apache.maven.reporting:maven-reporting-exec:jar:1.1 from/to central (https://repo.maven.apache.org/maven2): Read timed out -> [Help 1]

    连接超时了，替换Maven镜像

      <mirrors>
    <!-- mirror
     | Specifies a repository mirror site to use instead of a given repository. The repository that
     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
     |
    <mirror>
      <id>mirrorId</id>
      <mirrorOf>repositoryId</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <url>http://my.repository.com/repo/path</url>
    </mirror>
     -->

     <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>        
     </mirror>
  </mirrors>

  2. 下面这个错误是在执行"mvn install -DskipTests -Dcheckstyle.skip=true"这个命令时出现的

    这个错误出现的原因说实话我没搞懂，希望有知道的小伙伴可以告知一下，哈哈哈，先在这里感谢了。

    我是怎么解决这个问题的呢？说来奇怪，我就换了一个命令然后就没出现这个问题了，很纳闷。

    换的命令是"mvn clean package -Phadoop-2 -DskipTests"

    [INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Hive 1.2.1 ......................................... SUCCESS [ 10.851 s]
[INFO] Hive Shims Common .................................. SUCCESS [  5.831 s]
[INFO] Hive Shims 0.20S ................................... SUCCESS [  2.751 s]
[INFO] Hive Shims 0.23 .................................... SUCCESS [  8.996 s]
[INFO] Hive Shims Scheduler ............................... SUCCESS [  4.800 s]
[INFO] Hive Shims ......................................... SUCCESS [  2.806 s]
[INFO] Hive Common ........................................ FAILURE [ 12.649 s]
[INFO] Hive Serde ......................................... SKIPPED
[INFO] Hive Metastore ..................................... SKIPPED
[INFO] Hive Ant Utilities ................................. SKIPPED
[INFO] Spark Remote Client ................................ SKIPPED
[INFO] Hive Query Language ................................ SKIPPED
[INFO] Hive Service ....................................... SKIPPED
[INFO] Hive Accumulo Handler .............................. SKIPPED
[INFO] Hive JDBC .......................................... SKIPPED
[INFO] Hive Beeline ....................................... SKIPPED
[INFO] Hive CLI ........................................... SKIPPED
[INFO] Hive Contrib ....................................... SKIPPED
[INFO] Hive HBase Handler ................................. SKIPPED
[INFO] Hive HCatalog ...................................... SKIPPED
[INFO] Hive HCatalog Core ................................. SKIPPED
[INFO] Hive HCatalog Pig Adapter .......................... SKIPPED
[INFO] Hive HCatalog Server Extensions .................... SKIPPED
[INFO] Hive HCatalog Webhcat Java Client .................. SKIPPED
[INFO] Hive HCatalog Webhcat .............................. SKIPPED
[INFO] Hive HCatalog Streaming ............................ SKIPPED
[INFO] Hive HWI ........................................... SKIPPED
[INFO] Hive ODBC .......................................... SKIPPED
[INFO] Hive Shims Aggregator .............................. SKIPPED
[INFO] Hive TestUtils ..................................... SKIPPED
[INFO] Hive Packaging 1.2.1 ............................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 51.038 s
[INFO] Finished at: 2021-12-03T12:16:34+08:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project hive-common: Compilation failure: Compilation failure: 
[ERROR] /usr/local/workspace/apache-hive-1.2.1-src/common/src/java/org/apache/hadoop/hive/common/jsonexplain/tez/Vertex.java:[26,28] 程序包org.codehaus.jackson不存在
[ERROR] /usr/local/workspace/apache-hive-1.2.1-src/common/src/java/org/apache/hadoop/hive/common/jsonexplain/tez/Vertex.java:[27,32] 程序包org.codehaus.jackson.map不存在
[ERROR] /usr/local/workspace/apache-hive-1.2.1-src/common/src/java/org/apache/hadoop/hive/common/jsonexplain/tez/Vertex.java:[83,53] 找不到符号
[ERROR]   符号:   类 JsonParseException
[ERROR]   位置: 类 org.apache.hadoop.hive.common.jsonexplain.tez.Vertex
[ERROR] /usr/local/workspace/apache-hive-1.2.1-src/common/src/java/org/apache/hadoop/hive/common/jsonexplain/tez/Vertex.java:[83,73] 找不到符号
[ERROR]   符号:   类 JsonMappingException
...

  3. 这个错误没什么影响，我就没改，有兴趣的可以自己弄一下

    [ERROR] ResourceManager : unable to find resource 'VM_global_library.vm' in any resource loader.
冷漠；
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Hive中文乱码解决方法
zhengzaifeidelushang的博客
08-13 5605
Hive中文乱码解决方法 一、错误原因： hive的元数据是由mysql管理的，mysql默认编码是latin1，中文存储进去容易乱码，所以最好把mysql的编码改成utf-8 二、解决方法 需要把相应注释的地方的字符集由 latin1 改成 utf-8，用到注释的就三个地方，表、分区、视图 修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TAB
mysql 建表中文乱码_mySQL中建表的中文字段与中文乱码问题解决办法
weixin_28795271的博客
01-21 1923
MySQL中默认字符集的设置有四级:服务器级，数据库级，表级 。最终是字段级 的字符集设置。注意前三种均为默认设置，并不代码你的字段最终会使用这个字符集设置。所以我们建议要用show create table table ; 或show full fields from tableName; 来检查当前表中字段的字符集设置。MySQL中关于连接环境的字符集设置有 Client端，connectio...
解决hive建表中文乱码问题
ZhShH0413的博客
05-30 4247
当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。参数，来指定字符集编码为 UTF-8。参数，来指定字符集编码为 UTF-8。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，在进行配置时，建议采用统一的字符集编码，以确保所有代码能够正常工作。（3）判断hive的所依赖的mysql元数据库的编码格式是否是UTF-8。来指定使用 UTF-8 字符集编码。在这个示例中，我们通过设置。
Hive建表乱码解决--设置编码格式UTF8
最新发布
qq_40623672的博客
06-18 532
Hive建表乱码解决--设置编码格式UTF8
解决Hive中表注释中文乱码
搞数据
08-16 2440
如果Hive在建表的时候希望有中文注释，可以提前到hive的元数据存储数据库MySQL中执行刚刚的五条命令。
修改 Hive 元数据库默认字符集，解决乱码问题
想练武，就得下功夫
03-16 5293
修改 Hive 元数据库默认字符集
解决Hive中文乱码问题
duyenson的博客
11-24 4237
hive中文编码问题
Hive表comment中文乱码解决方案
weixin_39916734的博客
09-20 1746
hive注释中文乱码问题： 针对元数据库metastore中的表，分区，视图的编码设置。 1、进入数据库metastore中修改mysql编码设置。 2、修改metastore的连接URL。 1、修改表字段注解和表注解 进入mysql 选择hive库执行： alter table COLUMNS_V2 modify column COMMENT varchar(256) character...
表单提交中文出现乱码-jsp中文乱码
springleewu的博客
03-17 999
表单提交中文出现乱码-jsp中文乱码
解决show create table中文乱码问题的hive-exec.jar
10-02
针对 hdp-22.4.3.0-227版中的hive1.2.1000的cli show create table乱码的替换jar包。
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
sql同步自动生成hive建表语句及注释
08-08
基于oracle或者mysql生成自动建表同步源数据表结构及注释
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
Hive乱码解决方案
onway_goahead的博客
04-18 1080
Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create external table movie( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分', timestamped bigint comment '评...
hive中文注释乱码
AnameJL的博客
08-10 398
hive中文注释乱码问题   hive建表的过程经常会碰到字段的中文注释乱码的问题，下面就介绍下如何处理此类问题。 1. 修改元数据的编码 修改表字段注解和表注解 -- 修改表字段注解编码 ALTER TABLE columns_v2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8; -- 修改表名注解编码 ALTER TABLE table_params MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHAR
Hive中文乱码的解决方法
weixin_48663895的博客
01-12 1322
解决Hive中文乱码问题
Hive 表注释乱码解决
JIE的博客 --- moon_coder
09-04 1067
字符集，这两个参数决定了服务器和数据库如何处理和存储数据的字符编码，而我们通常使用的字符集都是。一般 Hive 的元数据信息都存储在 MySQL 中，但 MySQL 数据库中的。进入 MySQL 中调整下列参数，切换到存储 Hive 元数据信息的库，然后执行。在 Hive 中创建一个新表，并添加注释信息。，所以会造成 Hive 中注释出现。
hive 表注释乱码以及show create table语句描述乱码解决
热门推荐
搜索引擎、个性化推荐、大数据相关学习笔记|
03-15 1万+
hive 表注释乱码以及show create table语句描述乱码解决
Hive中文注释乱码解决方案
网易数帆社区博客
10-16 1689
本文来自网易云社区作者：王潘安快速解决方法目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决...
hive 建表 注释
07-28
在 Hive 中，可以使用 `COMMENT` 关键字为表添加注释。以下是创建表并添加注释的示例： ```sql CREATE TABLE my_table ( column1 INT COMMENT 'This is the comment for column1', column2 STRING COMMENT 'This is the comment for column2' ) COMMENT 'This is the comment for the table' ``` 在上面的示例中，`COMMENT` 关键字用于为列和表添加注释。你可以根据需要自定义注释内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值