Hive-1.1.0的注意事项之元数据库建表时的字段编码问题

最新推荐文章于 2024-04-16 02:39:58 发布
最新推荐文章于 2024-04-16 02:39:58 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： metadata hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012802702/article/details/70198806
版权
Hive安装过程中初始化matestore时字段编码问题：
背景，
因为mysql的配置文件中/etc/my.cnf中设置了默认的编码为utf8,而在该MySQL中创建hive元数据库时，如果不指定默认是使用 latin1 ,所以在初始化Hive的matestore之后，会报错：
FAILED: Error in metadata: javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytes 
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes 
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
最低0.47元/天 解锁文章
雨钓Moowei
关注
专栏目录
Hive建表乱码解决--设置编码格式UTF8
qq_40623672的博客
06-18 836
Hive建表乱码解决--设置编码格式UTF8
hive设置中文编码格式utf-8
热门推荐
2020xyz的博客
01-04 1万+
111
hive的comment乱码，建库设置编码格式为utf8
zimuguai的博客
05-02 786
关于hive的comment乱码，建库设置编码格式为utf8
hive建表的格式问题
w_t_y_y的博客
06-10 429
前面举的例子格式都比较规整，如果现在需要用hive整理一份很乱的数据，怎样建表并设置表的格式才能把需要的数据load写进表中呢？
2020-09-14
Shirley984的博客
09-19 118
Java基础补充 位（bit) 一个数字0或者一个数字1，代表一位。 字节（Byte), 每逢8位是一个字节，这是数据储存的最小单位. 1 Byte = 8 bit 1 KB = 1024 Byte 1 MB = 1024 KB 1 GB = 1024 MB 1 TB = 1024 GB 命令提示符 cd… 返回上一级 cd\ 返回根目录 dir 查看当前目录 cls 清理屏幕 exit 退出 JRE 和JDK JDK(Java Development Kit): 是Java程序开发工具包
hive-1.1.0-cdh5.7.0.tar.gz.rar
08-21
Hive-1.1.0-cdh5.7.0是专为CDH5.7.0设计的，如果使用其他版本的Hadoop，可能会导致运行错误或性能问题。因此，正确选择和匹配Hadoop版本是成功部署Hive的关键步骤。 3. **安装与配置Hive** - **解压文件**：首先，...
hive-1.1.0-cdh5.7.0.tar
12-20
这个压缩包文件"**hive-1.1.0-cdh5.7.0.tar**"是针对CDH（Cloudera Distribution Including Apache Hadoop）5.7.0版本的Hive 1.1.0发行版，它是大数据生态中一个基于Hadoop的数据仓库工具，能够将结构化的数据文件...
hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包
06-26
标题中的“hive-1.1.0-cdh5.14.2.tar.gz”是一个针对Apache Hive的压缩包，这是Hadoop生态系统中的一个数据仓库工具，用于查询和管理大规模存储在Hadoop分布式文件系统（HDFS）上的结构化数据。CDH是Cloudera ...
hive-1.1.0-cdh5.14.2.tar.gz
08-07
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的...
hive建表乱码
xuefenxi的博客
12-21 2025
1、修改hive 元数据 mysql中COLUMNS_V2 表的编码格式 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; 2、插入对应的编码 alter table dwd_qmjk.mid_hz_jbxx CHANGE COLUMN id id int comment '编码';
解决集群Hive表注释为？的编码问题
xiewendong93的专栏
02-24 1507
解决方案： 1、修改hive连接mysql的连接为utf-8<property> <name></name> <value>jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8</value> <description>JDBC connect string for
【Hive】建表时的存储格式
hyj
09-09 6052
hive建表时的存储格式
Hive编码问题
JarryWangJY的博客
12-28 2861
前端时间安装hive时遇到的问题： 错误描述：hive进入后可以创建数据库，但是无法创建表 解决办法：登录mysql修改hive编码方式 mysql>alter database hive character set latin1;
解决hive建表中文乱码问题，掌握这个提升路径,
最新发布
2401_84164546的博客
04-16 882
（2）也可在数据库可视化工具（例如dbeaver）设置COLUMNS_V2 、TABLE_PARAMS 、PARTITION_PARAMS 、PARTITION_KEYS 的编码格式为utf-8。当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，在进行配置时，建议采用统一的字符集编码，以确保所有代码能够正常工作。
Hive创建表时添加中文注释后乱码
鱼归不知处
05-04 948
首先，查看Hive的元数据库(MySQL)编码： mysql>show variables like '%char%'; 下面使用修改hive默认的SQL语句来解决乱码问题。 1、查找文件 [kanaka@spark~]$cd $HIVE_HOME/scripts/metastore/upgrade/mysql 2、依据使用的Hive版本来修改相应的SQL文件 我修改...
hive小技巧
Howe的博客
03-29 3472
1、显示表头（列明） set hive.cli.print.header=true 2、hive code2 增大资源配置 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=80000; set hive.exec.max.dynamic.partitions.pernode=10000; set map
hive 建表-复杂数据类型
qq_43192537的博客
08-05 1484
hive 建表-复杂数据类型
Sqoop export columns 参数使用
石榴姐yyds
07-14 3408
0 使用场景 如果不使用 column 参数，就要默认Hive 表中的字段顺序和个数和MySQL表保持一致，如果字段顺序或个数不一致可以加 columns 参数进行导出控制。 hive中的表字段数目和目标mysql表字段数目可以不一致，加 columns 参数 hive中的表字段和目标mysql表字段名称顺序可以调整，加 columns 参数 1.Hive字段顺序和MySQL保持一致 （1）添加 id字段 （2）MySQL 中插入两条记录 （3）Hive表中添加一条记录 .....
apache-hive-1.1.0-bin.tar.gz
07-24
apache-hive-1.1.0-bin.tar.gz是一个Apache Hive的二进制发布版本。Apache Hive是一个建立在Apache Hadoop之上的数据仓库基础架构，用于提供数据汇总、查询和分析的功能。 这个二进制发布版本是经过编译的，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值