hive初始化元数据库乱码

本文介绍了在使用Hive时遇到元数据库中文注释显示乱码的问题及解决过程。首先,通过检查发现元数据库字符集为latin1而非utf8,然后尝试使用schemtool工具重新初始化,并修改初始化脚本中的字符集。在解决过程中,遇到创建索引长度超出限制的错误,通过调整表结构后成功初始化,最终解决了乱码问题。
摘要由CSDN通过智能技术生成

序言

    无论是使用何种语言进行编程,碰到的第一个问题莫过于乱码的问题,而使用数据库的时候,也大致差不多。

    hive使用元数据库来记录相关hdfs数据文件和数据库表之间的映射关系,当创建的数据库是使用中文注释的时候,那么就会碰到乱码问题。

HIVE元数据库乱码

    1 问题现象

    创建一个ods层的表,使用中文进行注释,发现不能显示乱码:

    2 检查元数据库编码

    数据库显示为乱码,第一时间检查元数据库的编码,看是否是utf8编码。

    发现数据库编码为latin1,从而要将数据库编码修改为utf8.

//修改mysql的配置文件my.cnf,在mysqld的配置下加上字符编码为utf8
[root@KEL1 ~]# diff /etc/my.cnf /etc/my.cnf.bak 
28,32d27
< character-set-server=utf8 
< [client]
< defaul
在 Windows 上,如果您要将 MySQL 作为 Hive 数据存储,则需要执行以下步骤: 1. 安装 MySQL 数据库,并创建一个新的数据库用于存储 Hive数据。 2. 下载 MySQL 的 JDBC 驱动程序(mysql-connector-java.jar)。 3. 将 JDBC 驱动程序复制到所有运行 HiveServer2 和 Metastore 的节点的 Hive lib 目录(默认情况下为 $HIVE_HOME/lib)中。 4. 在 Hive 的配置文件 hive-site.xml 中添加以下属性: ``` <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://<mysql_host>:<mysql_port>/<hive_database>?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value><mysql_user></value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value><mysql_password></value> <description>password to use against metastore database</description> </property> ``` 其中,<mysql_host> 是 MySQL 服务器的主机名或 IP 地址,<mysql_port> 是 MySQL 服务器的端口号,<hive_database> 是用于存储 Hive 数据的数据库名称,<mysql_user> 和 <mysql_password> 是连接 MySQL 数据库所需的用户名和密码。 5. 运行以下命令初始化 Hive数据存储: ``` schematool -dbType mysql -initSchema ``` 其中,-dbType 参数指定数据库类型,-initSchema 参数指示 Hive 初始化数据存储。 完成这些步骤后,您就可以使用 MySQL 作为 Hive数据存储了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值