使用hive OPTION SQL_SELECT_LIMIT=DEFAULT

最新推荐文章于 2021-10-21 14:00:46 发布
最新推荐文章于 2021-10-21 14:00:46 发布
阅读量3.1k 收藏 2
点赞数 1
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyuanhai/article/details/78106984
版权


安装完CDH，使用hive的时候报错：

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1)

原因： 
/opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java-5.1.15.jar 

中用的mysql驱动版本 

mysql数据库版本为5.6 

hadoop是通过jdbc连接数据库，在连接数据库时候会发送测试语句SET OPTION SQL_SELECT_LIMIT=DEFAULT 
这在mysql5.6以下版本是可以的 ，但是5.6不再支持SET OPTION SQL_SELECT_LIMIT=DEFAULT 


解决：

mysql-connector-java-5.1.42-bin.jar

推荐文章：http://jackyrong.iteye.com/blog/2110569

_小海_
关注
专栏目录
Hive框架的搭建和使用_第五节_hive的权限控制_参数配置
无尽_easy的博客
11-10 241
Hive框架的搭建和使用_第五节_hive的权限控制_参数配置 hive的权限控制1. 介绍2. 创建角色 授权，等hive的参数配置 及其优化 hive的权限控制 1. 介绍 三种授权模型： 1、Storage Based Authorization in the Metastore Server 基于存储的授权 - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。 2、SQL Standards Based Authorization in Hiv
Flink、Spark、Hive集成Hudi
QYmufeng的博客
09-14 733
版本：0.13.1版本：flink-1.15.2spark版本：3.3.2Hive版本：3.1.3Hadoop版本：3.3.4。
hive(二)–hive常用命令操作
panda-star的博客
04-23 511
hive(二)–hive常用命令操作 文章目录hive(二)--hive常用命令操作一、简介二、命令执行方式2.1 以交互方式执行命令2.2 以非交互方式执行命令3、以文件方式执行命令三、常用命令3.1 数据库操作3.2 表操作3.3 数据操作四、常用数据类型 一、简介 这节将介绍hive常用命令操作，包括数据库操作、表操作、数据操作等。hive的采用了类sql的语法，也称为hql。 二、命令执行...
项目切换mysql数据库时候遇到的版本问题
nihao0526的专栏
07-24 2636
问题如下 You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1 原因： 项目
hive中‘SET OPTION SQL_SELECT_LIMIT=DEFAULT‘异常
qq_43740031的博客
09-26 308
主要是驱动版本的问题，换成较高版本的就可以解决了。
Hive改变列名报错'OPTION SQL_SELECT_LIMIT=DEFAULT'(已解决)
刘小义的博客
05-07 1004
Hive改变列名报错’OPTION SQL_SELECT_LIMIT=DEFAULT’(已解决) 版本信息 hive : 2.3.4 mysql: 5.7.25 mysql驱动包：5.1.1 系统：centos6.5 前置操作 ALTER TABLE test_change CHANGE a a1 INT; 报错信息 FAILED: Execution Error, return code ...
cloudera-manager hive 报 OPTION SQL_SELECT_LIMIT=DEFAULT 异常记录
wsq_strive的博客
05-16 345
异常信息：NestedThrowables: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syn...
修改完整版的sql存储（积分兑换脚本），改写出可执行的shell和hive脚本。 积分兑换脚本： create procedure "rptdev"."sp_wjq_jf_value_dhfz_show"( in @data_date integer default cast("dateformat"("now"()-1,'yyyymmdd') as integer), in @is_run_flag1 integer default 1, in @is_run_flag2 integer default 10 ) on exception resume /****************************************************************** -- Purpose : 兑换积分分析报表 -- Auther: xxx -- Date : 20210923 *******************************************************************/ begin declare @stat_date varchar(8); --统计日期 declare @month_id integer; --统计月份 declare @month_first_date varchar(8); --统计月的第一天 declare @month_last_date varchar(8); --统计月的最后一天 declare @last_month_first_date varchar(8); --上月的第一天 declare @last_month_last_date varchar(8); --上月的最后一天 declare @last_month integer; --上月 declare @last_last_month integer; --上上月 declare @last_month_this_day varchar(8); --上月当天 declare @last_year_this_month integer; --上年当月 declare @this_year_first_month integer; --本年首月 declare @last_year_last_month integer; --上年尾月 set @stat_date = convert(varchar(8),@data_date); set @month_id = @data_date/100; set @month_first_date = "dateformat"(@data_date,'yyyymm01'); --统计月的第一天 set @month_last_date = "dateformat"("dateadd"("dd",-1,"dateformat"("dateadd"("mm",1,@data_date),'yyyymm01')),'yyyymmdd'); --统计月的最后一天 set @last_month_first_date = "dateformat"("dateadd"("mm",-1,@data_date),'yyyymm01'); --上月第一天 set @last_month_last_date = "dateformat"("dateadd"("dd",-1,"dateformat"("dateadd"("mm",1,@data_date),'yyyymm01')),'yyyymmdd'); set @last_month = cast("dateformat"("dateadd"("month",-1,@data_date),'yyyymm') as integer); --上月 set @last_last_month = cast("dateformat"("dateadd"("month",-2,@data_date),'yyyymm') as integer); --上上月 set @last_month_this_day = "dateformat"("dateadd"("mm",-1,convert(date,@data_date)),'yyyymmdd'); --上月当天 set @last_year_this_month = convert(integer,"dateformat"("dateadd"("yy",-1,@last_month_this_day),'yyyymm')); --上年当月 set @this_year_first_month = convert(integer,"dateformat"("dateadd"("yy",0,@data_date),'yyyy01')); --本年首月 set @last_year_last_month = cast("dateformat"(convert(integer,"dateformat"("dateadd"("yy",-1,@data_date),'yyyy1231')),'yyyymm') as integer); --上年尾月 set temporary option "conversion_error" = 'OFF'; set temporary option "Query_Temp_Space_Limit" = 0; --drop table if exists rpt_wjq_jf_value_dhfz_list;commit;
06-07
hive -e "SET temporary option conversion_error=OFF; SET temporary option Query_Temp_Space_Limit=0; CREATE TEMPORARY TABLE IF NOT EXISTS rpt_wjq_jf_value_dhfz_list AS SELECT * FROM rptdev.sp_wjq_jf_...
beeline执行sql语句_jdbc 连hive查询报错，但beeline/hive cli都能正确执行
weixin_29977617的博客
12-23 1236
使用的各版本如下：hive-0.13.1-cdh5.3.2hadoop-2.5.0-cdh5.3.2hive开启服务器:nohup hive --servicehiveserver2 &java应用通过jdbc方式连接hive, url:jdbc:hive2://10.199.201.41:10000/default当执行 select * from kylin_account where...
Hive官方使用手册——Hive CLI
三米学习笔记杂货铺
03-07 3526
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli#LanguageManualCli-DeprecationinfavorofBeelineCLIHive官方使用手册——Hive CLI为了支持Beeline CLI弃用当前的方式HiveServer2 拥有自己的CLI叫Beeli...
hive drop 表报错 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1
qq_33286695的博客
01-08 1546
使用hive操作drop表报如下错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.hive.metastore.api.MetaException javax.jdo...
【hive】MySQL server version for the right syntax to use near ‘OPTION SQL_SELECT_LIMIT=DEFAULT‘ at lin
Mrerlou的博客
10-21 1046
一、前言： 最近线上CDH集群数据库崩溃，且无法恢复，影响范围Cloudera Manager服务无法使用，HIVE 元数据信息丢失，后续通过一系列手段进行了数据恢复。 在重新安装Hive服务时，遇到了一些报错。 环境信息： CDH：5.13 Mysql：5.6 二、报错内容： hive创建表表时报错如下： hive> create database test; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
hive命令参数
hua_jing的专栏
07-06 415
Usage ./hive <parameters> --service serviceName <service parameters> Service List: beeline cleardanglingscratchdir cli hbaseimport hbaseschematool help hiveburninclient hiveserver2 hplsql ...
Mysql异常'SET OPTION SQL_SELECT_LIMIT=DEFAULT'
王洋的专栏
03-03 1万+
在用hive时遇到这样的一个异常，因为hive的元数据是存储在mysql数据库中，所以对于hive表的操作相应的会操作数据库中表的数据，该问题发生于删除表的时候，创建的时候并未产生该异常。经过查阅资料了解到mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。异常信息NestedThrowable
mysql select default_MySQL 报错MySQL server syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT'
weixin_30470929的博客
01-27 483
在hive的应用中，出现如下错误时You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT'是mysql的版本和驱动的版本不...
OPTION SQL_SELECT_LIMIT=DEFAULT java连接mysql错误
热门推荐
PennJ的专栏
03-14 2万+
今天公司要搬家了，为了方便在搬家的时候引起的网络变化而导致无法使用的公司测试服务器上的数据库，所以准备将服务器上的数据库备份到本机。         项目启动时创建本地的数据库连接的时候频繁的报出SQL错误：         You have an error in your SQL syntax; check the manual that corresponds to your MySQL
Hive调优
lmk1224的博客
06-05 139
Fetch Hive中对某些情况的查询不必使用mapreduce,一些简单的查询，hive可以du
Myeclipse使用DB Browser连接数据库错误：OPTION SQL_SELECT_LIMIT=DEFAULT
徐刘根的博客
12-04 3595
（1）由于前一段时间更新了mysql的最新版本到mysql5.6，在使用myeclipse的DB Browser时，编辑数据出现以下错误： （2）网上一查原来是，因为mysql驱动jar版本低造成的；以前使用的mysql驱动是mysq-connector-java-5.0.8-bin.jar，我们在开发的时候会在创建数据库的时候发送测试语句SET OPTION SQL_SELECT_LI
动态分区导致__HIVE_DEFAULT_PARTITION__
最新发布
01-20
动态分区是Hive中一种常用的分区方式，它允许在插入数据时根据指定的分区键动态创建分区。当启用动态分区时，如果指定的分区键存在空值，Hive会自动创建一个名为__HIVE_DEFAULT_PARTITION__的默认分区来存储这部分数据。 这个默认分区的目的是为了处理空值情况，以保证数据的完整性和一致性。当动态分区的业务SQL中存在空值时，Hive会将这部分数据存储在__HIVE_DEFAULT_PARTITION__分区中，以防止数据丢失或混乱。 举个例子，假设我们有一个表student，其中的分区键是年级和班级。当我们执行动态分区插入数据的操作时，如果某个学生的年级或班级为空，Hive会将这部分数据存储在__HIVE_DEFAULT_PARTITION__分区中。 总结一下，动态分区导致__HIVE_DEFAULT_PARTITION__的出现是为了处理业务SQL中存在空值的情况，以保证数据的完整性和一致性。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_小海_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值