hive -f 文件内容里的注释引发小Bug

最新推荐文章于 2023-02-17 16:58:46 发布
最新推荐文章于 2023-02-17 16:58:46 发布
阅读量539 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/102836607
版权
在执行Hive的-hql命令时，如果文件中以注释形式存在的第二行被过滤，会导致执行错误。问题源于Hive的CliDriver.java源码第7行。解决方案是确保注释行不会被当作代码执行。
摘要由CSDN通过智能技术生成

问题记录

run.hql 文件内容如下

-- line1
  -- line2 ;
select 1;

或者

-- line1
  -- line2

在执行 hive -f run.hql 时会报错，原因是第二行没有作为注释 被过滤掉，当正常代码执行

查看Hive源码

https://github.com/apache/hive/blob/master/cli/src/java/org/apache/hadoop/hive/cli/CliDriver.java

第7行
public int processReader(BufferedReader r
最低0.47元/天 解锁文章
阿武z
关注
专栏目录
hive -e/Hive -f 出现WARN问题
L, there!
07-04 2864
hive -e 是执行指定SQL，-f 是执行指定HQL文件。 hive -e /-f 会出现WRN： WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. WARN: Please see http://www.slf4j.org/codes.html#r...
hive -f 报错 FAILED:ParseException line 1:5 cannot recognize in ‘set‘ ‘hive‘ ‘.‘ instatement
weixin_41634597的博客
05-06 2607
如何处理hive执行BOM头文件报错的问题
Hive注释乱码问题
千里之行始于足下
11-27 273
在HIVE中建表的时候，有时候难免要表中文注释，然而如果不经过配置，会导致desc某个表名的时候，直接以？的方式返回。 因此也来解决一下HIVE中文注释乱码的问题。由于HIVE的元数据是存在于MYSQL上的，因此需要在MYSQL上进行元数据的候。当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1 default。 alter database hive ch
文件注释符号
生活在别处
10-20 733
文件类型 扩展名 注释符号 大小写敏感 BAT文件 bat,cmd REM No Shell脚本 x执行属性 # Yes ini文件 ini ; 不确定 inf文件 inf ; No XML文件 xml Yes
Hive 执行作业时报错 [ Diagnostics: File file:/ *** reduce.xml does not exist FileNotFoundException: File ...
anxian8397的博客
03-10 808
2019-03-10 本篇文章旨在阐述本人在某一特定情况下遇到Hive执行MapReduce作业的问题的探索过程与解决方案。不对文章的完全、绝对正确性负责。 解决方案 Hive的配置文件 hive-site.xml中的hive.exec.scratchdir的目录地址要放在 HDFS上。 问题现象 本人在使用H...
HIve语句常遇错误
涛博
02-11 545
一、将查询的结果保存到指定的文件目录 将查询的结果保存到本地 insert overwrite local directory '/root' select * from t_p; 当执行完结果后有由于是强制覆盖，会将/root下的文件全部强行覆盖 解决办法： cp -r /etc/skel/* /root 如果其他配置的虚拟机还有个相同的文件拷贝过来就可以，在者查看 /root目录...
cdh的hive配置文件位置_cdh版本的hive安装以及配置
weixin_39867212的博客
12-22 1971
hive依赖hadoop需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz1、hadoop的安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cdh3、解压hive-0....
Hive-0.9 升级 Hive-0.12后结合HBase统计遇到的BUG处理
Thinking in code
11-08 1035
1. 空指针异常 问题分析：最初以为是配置文件中缺损了某个值，然后用vimdiff比对了hive0.9和hive0.12之间的配置差异，在排除了配置文件出错的可能性后，下载了源码来看 问题解决：主要还是按照这个wiki上的来解决https://issues.apache.org/jira/browse/HIVE-5515 2. Map重复读Hbase 这个问题其实由来已久，其实我看
hive: 优化配置及bug查询路径
皮皮blog
02-07 1809
mapper数量与输入文件的split数息息相关，在Hadoop源码org.apache.hadoop.mapreduce.lib.input.FileInputFormat类中可以看到split划分的具体逻辑。如果想增大mapper数，除了降低mapred.min.split.size之外，也可以调高mapred.map.tasks。参数mapred.min.split.size（默认值1B）和mapred.max.split.size（默认值64MB）分别用来指定split的最小和最大大小。
python脚本中hivesql字段注释格式化
09-12
# 此脚本查找以“--”开头的注释 # ----------------------------------------------示例----------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ---------------------------------------------优化结果------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ------------------------------------------------------------------------------------------
解决在SQL脚本中的注释引起的奇怪问题
12-15
在数据库安装包中，我们通过osql.exe这个工具来对相关的数据库脚本进行更新，昨天突然发现安装包报错了，说脚本错误，但我们将脚本拿到数据库查询分析器中执行，一切OK。 问题出在哪里呢？ 通过使用osql单独来执行报错的脚本，打印相关信息： 代码如下: osql.exe -S .\SQLDEV -U sa -P MyRoot -b -n -r 1 -i “.\UpdateTable.sql” -o “c:\hahah.txt” @echo %errorlevel% @pause 得到如下错误信息： osql Missing end comment mark “*/” 晕倒，说我的注释符缺少
Hive中文注释乱码解决方案
jessicaiu的博客
10-16 3474
本文来自网易云社区作者：王潘安快速解决方法目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决...
bat脚本将文件名包含在.f文件里
drdr7的博客
02-17 200
我们写FPGA等代码的时候，工程包含文件需要相对路径。当文件比较多的时候，手动添加工作量就比较大了。我自己查询资料写了一个bat批处理脚本，现在分享给大家。含带注释，大家可以根据需要修改，以适用于不同后缀的文件。
大数据-hive-hive -e/-f/-hiveconf-小记
橙汁糖的博客
12-07 2320
hive -e 后面的参数是‘命令行’ hive -f 后面的参数是文件 hive -hiveconf 设置hive运行时候的参数配置
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
大数据流动
11-16 2635
正文共：9053字12图预计阅读时间：23分钟前几天，Datahub提供了最新的字段级别数据血缘功能，很多朋友迫不及待想对比一下Datahub的字段级血缘与Atlas的区别。这个时候问题来了，在Atlas收集Hive血缘的时候，由于部分版本问题，没有显示出字段级的数据血缘。这是为什么呢？其实只要做一个简单的修复就可以了，但是知其然也要知其所以然。今天我们就来看一下这个问题到底...
基于Hive内部接口实现的Hive数据血缘的介绍
mizuhokaga的博客
02-20 3661
文章目录Hive 数据血缘实现介绍表级别表级别总结推荐阅读:字段级别字段级别总结推荐阅读: Hive 数据血缘实现介绍 Hive作为一个离线数仓工具,其实自带了数据血缘分析的解决方案: 表级别: org.apache.hadoop.hive.ql.tools 下的LineageInfo类 字段级别:这里有两种方式 org.apache.hadoop.hive.ql.hooks.LineageLogger类 Execution Hooks机制 本文只做简单介绍,方便自己查询 表级别 LineageIn
大数据血缘分析系统设计
jc_benben的专栏
09-03 8473
数据血缘关系介绍 定义 Data Lineage 数据血统，也叫做Data Provenance 数据起源或Data Pedigree 数据谱系 从数据的产生，ETL处理、流转流通，到最终消亡，数据之间自然会形成一种关系，类似于人类社会的血缘关系，我们称之为数据血缘关系。 数据血缘关系有一些明显的特征 归属性。一般来说，特定的数据归属特定的团队或者个人 多源性。同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯
hive -e和hive -f的区别
最新发布
11-22
hive -e和hive -f的区别如下： 1. hive -e：使用-e选项可以在命令行中直接执行短命令。例如，可以使用以下命令在Hive中执行查询： ``` hive -e "use tv; select * from test;" ``` 这将在Hive中执行两个操作：首先，使用tv数据库，然后从test表中选择所有的数据。 2. hive -f：使用-f选项可以执行一个包含Hive查询的文件。例如，可以使用以下命令执行名为test.hql的Hive查询文件： ``` hive -f test.hql ``` 这将执行test.hql文件中的所有Hive查询。 总结起来，hive -e用于执行短命令，而hive -f用于执行包含Hive查询的文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值