hive数仓乱码MySQL配置问题

hive数仓乱码MySQL配置问题

我使用的是MySQL-server-5.6.45-1.el7.x86_64.rpm
MySQL-client-5.6.45-1.el7.x86_64.rpm 安装的mysql。
/usr/share/mysql/my-default.cnf 或者 /usr/my.cnf 拷贝到/etc/etc/my.cnf

1. 编辑/my.cnf配置文件

[client]
default-character-set=utf8
[mysqld]
character-set-server = utf8
skip-grant-tables

mysql  -h127.0.0.1 -uroot -p123456 -P3306 -Dwarehouse

遇到的问题1

Access denied for user ‘root’@‘localhost’ (using password: YES)
skip-grant-tables 加上这个就好了
登陆的时候密码正确但是总是被拒绝，这个是跳过权限验证。

遇到的问题2

这个是因为我在网上搜资料的时候 用了 service mysqld stop 这个命令
结果我用 chkconfig –list命令 发现我的服务名字是mysql
然后用 service mysql stop 就好了

chkconfig – -list ：显示所有运行级系统服务的运行状态信息（on或off）。
如果指定了name，那么只显示指定的服务在不同运行级的状态。

遇到的问题3

The server quit without updating PID file (/var/lib/mysql//hadoop101.pid)
如果是报pid的问题
删除/var/lib/mysql 目录下 ib_logfile0 和 ib_logfile1 两个文件后重新启动 不行就自己建一个pid文件 随便写个进程号先启动。
service mysql restart

Pid文件默认为 主机名.pid默认存放MYSQL数据目录。Mysql
启动会通过create_pid_file函数新建pid文件，通过getpid（）获取当前进程并将pid写入pid文件。
因此通过mysql_safe启动，pid文件的作用是：在数据文件是同一份，但端口不同的情况下，防止同一个数据库被多次启动。

2. MySQL启动成功后测试

输入命令: \s ; show variables like ‘char%’ ; show variables like “colla%”; 测试。

3. 针对元数据库metastore中的表,分区,视图的编码设置

（1）修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8；
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8；
（2）修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
（3）修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

4. 修改metastore 的连接 URL

修改hive-site.xml配置文件
& 这个很重要 否则会报各种格式问题

javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop101:3306/metastore?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8
JDBC connect string for a JDBC metastore

5.启动hive测试

遇到的问题1

这是因为用户角色不对 我改MySQL配置用的root用户 忘了切换了 切换到gao就可以正常启动了

desc formatted ads_back_count;

这里显示已经正常，但是如果 用show create table 的话还是乱码。这里是因为hive 源码中输出的字节byte默认不包含中文，这里我们改成utf-8编码即可，这里我们参考：https://blog.csdn.net/mnasd/article/details/84642259
utf-8是一种变长的编码方式，它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度
http://archive.apache.org/dist/hive/hive-1.2.1/
首先从这个网址我们下载源码 然后导入idea编辑器修改。
https://www.ixigua.com/i6814352374094627341/?logTag=L885si7wTAahXJJko88E4
这个是我修改的全过程用视频记录下，怕自己以后忘了有需要的朋友可以查看下。