hive sql报错

最新推荐文章于 2023-05-02 18:11:11 发布
最新推荐文章于 2023-05-02 18:11:11 发布
阅读量925 收藏 1
点赞数
分类专栏： 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22866291/article/details/109725580
版权

1.hive sql 报错

FAILED: ParseException line 22:0 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in subquery source

2.解决

select * 
from
(
    select 
    	... 
    from 
		table_1
    where 
    	...
) table_outer
嵌套的内层的表一定要有别名，也就是示例代码中的表名table_outer。
winner8881
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive关键字引发的坑
weixin_49063354的博客
03-22 1908
/opt/module/hive/bin/hive -e "set mapreduce.job.queuename=hive;` `set hive.exec.dynamic.partition.mode=nonstrict;` `SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;` `insert overwrite table gmall.dwd_agv_breakdown_record partition (dt='2
Impala和Hive的关系（详解）
01-27
Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。Impala与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看Impala与Hive有很多的共同之处，如数据表元数 据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。Impala与Hive在Hadoop中的关系如下图所示
大数据java操作hive.pdf
12-24
⼤数据java操作hive ⼤数据 ⼤数据 java操作 操作hive 版权声明： 本⽂为博主学习整理原创⽂章，如有不正之处请多多指教。 未经博主允许不得转载。 虚拟机上操作，保证 虚拟机上操作，保证hive数据库能正常连接进⼊。 数据库能正常连接进⼊。 如因退出没有⽤到命令（quit;），第⼆次进⼊则会报错。解决⽅法，切换到 [root@xcl ~]# cd apache-hive-2.1.1-bin/conf/ [root@xcl conf]# vi hive-site.xml 最后进⾏初始化命令为：schematool -initSchema -dbType mysql 在任意⽬录下输⼊hive，则ok。 创建数据库、在数据库中创建数据表，在本地 创建数据库、在数据库中创建数据表，在本地"造数据 造数据" Create databases text； 例： CREATE TABLE t4(name String ,age int,likes ARRAY<String>,relation MAP<String,String>,location struct<country:String,city:String ,doornum:int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '^' MAP KEYS TERMINATED BY ':'; "造的数据"已经分好类 # 字段分割符是逗号 # 数组类型分隔符是^号 # map数据类型分割符是冒号 tom,18,lol^篮球^⾳乐,father:tom1^mother:lili,US^LOS^16 ⽤load上传本地数据到表中 load data local inpath '/usr/local/apps/test1.txt' into table t4; eclipse操作步骤（要配好 操作步骤（要配好maven创建 创建maven项⽬） 项⽬） maven项⽬需要的包，在 项⽬需要的包，在"pom.xml"中添加 中添加 <dependency> <groupId>org.apache.hive </groupId> <artifactId>hive-jdbc </artifactId> <version>2.1.1</version> </dependency> java连接 连接hive代码： 代码： //加载驱动 Class.forName("org.apache.hive.jdbc.HiveDriver"); //获取连接 String url="jdbc:hive2://192.168.1.90:10000/test"; Connection connection= DriverManager.getConnection(url,"root",""); //执⾏sql PreparedStatement ps=connection.prepareStatement("SELECT * FROM table01 "); //获取结果 ResultSet rs=ps.executeQuery(); while (rs.next()){ System.out.println("测试数据输出结果是："+rs.getString(1)); } //关闭连接 rs.close(); ps.close(); connection.close(); 在代码中添加 注意：引的包全是sql包 引完后会报异常，抛出异常即可 如出现这个问题 解决⽅法： <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.7</version> <scope>system</scope> <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath> </dependency>
cdh-hive2.1.1版本orc格式表读取包数组越界替换包
05-18
cdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail.getWriterVersion(OrcTail.java:74) at org.apache.orc.impl.ReaderImpl.<init>(ReaderImpl.java:385) at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.<init>(ReaderImpl.java:62) at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:89) at org.apache.hadoop.hive.ql.io.orc.VectorizedOrcInputFormat.getRecord
spark-2.4.8-bin-2.6.0-with-hive.tgz
10-20
该包可以启动spark的thriftserver。可以解决报错failed load org.apache.spark.sql.hive.thriftserver.HiveThriftServer2的报错。
大数据应用测试经验总结.pdf
12-24
⼤数据应⽤测试经验总结 ⼤数据应⽤测试经验总结 ⼤数据应⽤测试过程与传统的web系统有较⼤的不同，⼤数据应⽤测试通常会分为web侧和ETL侧测试，web侧基本就是功能测试，⽽ETL（Extracting-Transfroming- Loading）测试主要指从任何外部系统提取、转换、载⼊数据到⽬标地。从底层数据采集、数据处理、到上层应⽤展现。 ⼀、从技术架构设计上，分为以下⼏块： 1. 数据采集：采集使⽤java和python程序从⽂件服务器下载⽂件，并把⽂件写⼊kafka、Hbase和Hive、Mysql中； 2. 计算引擎：使⽤Hive on Tez计算引擎实现ETL跑批任务；使⽤spark streaming实现实时计算；使⽤Phoenix做前台交互式查询。 3. 数据存储：使⽤Kafka、Hive、Hbase、MySQL满⾜各层次存储技术需求。 4. 任务调度：使⽤Quartz实现作业调度及管理。 5. 监控接⼝：使⽤Kafka、⽂件接⼝对接统⼀监控平台。 6. 数据可视化：使⽤JQuery、Echarts、Easy UI等技术实现图表、表格展⽰；使⽤Apache POI实现excel、CSV的导⼊导出；使⽤Log4J记录⽇志；使⽤Spring框架实现 页⾯、服务、数据的集成管理；使⽤DBCP实现数据库连接池。 7. 数据模型层次说明 ODS：贴源层，存储原始数据，数据采集直接写⼊； DWD：数据仓库明细层，存储从源数据抽去过来的明细数据； DW：数据仓库层，保存经过数据降维汇聚的计算后⽣成的汇总数据； DM：数据集市层，满⾜特定功能⽽建⽴的各种数据集市。 1. 数据处理过程说明 1. 数据采集模块从采集机采集相关业务数据； 2. 数据采集模块定期把原始数据导⼊Hive库中的ODS层相关表中；实时数据及时写⼊kafka提供给spark streaming处理；公参数据写⼊mysql中。 3. ETL模块从ODS层相关表中抽取数据到DWD层； 4. ETL模块根据轻度汇总要求进⾏数据轻度汇总操作，并把汇总后的数据放到DW层中； 5. ⼀些功能所需数据⽆法从轻度汇总表计算出来，需要从DWD中原始表进⾏汇总； 6. ETL模块从DW层获取轻度汇总数据，根据各业务功能要求进⼀步汇总数据，形成DM层数据； 7. 即席查询数据从Hive关联到Hbase中； 8. Phoenix关联到HBase中，供页⾯查询使⽤； 9. 部分ETL模块数据把Hive中汇总后数据导⼊MySQL中，供模型建模使⽤； ⼆、Hadoop运⾏： mapreduce机制： 常⽤命令： 功能 功能 命令 命令 查看⽬录 hadoop fs -ls dir 上传⽂件 hadoop fs -put ${local file} ${hdfs file} 创建⽬录 hadoop fs -mkdir ${dirname} 获取⽂件 hadoop fs -get ${hdfs file} ${local file} 删除多个⽂件或⽬录 hadoop fs -rm ${hdfs file} ... hadoop fs -rm -r ${hdfs file}... 复制⽂件 hadoop fs -cp ${hdfs file} ${hdfs file} 移动⽂件 hadoop fs -mv ${hdfs file} ${hdfs file} 三、hive和hbase⽐较： Hive（⾮数据库） Hbase（数据库） 适⽤场景 ⽤于对⼀段时间内的数据进⾏分析查询，离线批处理 ⼤数据的实时查询 特点 1、⼀种类SQL的引擎，运⾏MapReduce任务； 2、查询⼀般是全量查询，时间较长，可通过分区来优化； 3、基于⾏查询，定义时每⾏有固定列数据，每列数据固定⼤⼩； 4、操作：不⽀持更新操作 1、⼀种在Hadoop之上的NoSQL型Key/Value数据库； 2、查询是通过特定语⾔编写，可通过Phonenix实现类SQL功能； 3、基于列查询，可定义各种不同的列，每列数据⼤⼩不固定； 四、hive常⽤操作 hive 基础操作 基础操作 说明 说明 查看数据 库 show databases 使⽤数据 库 use DbName 删除数据 库 drop database if exists DbName CASCADE 如果数据库不为空，删除会报错，加上cascade可忽略 查看表 show tables in DbName ; show tables like 'h*' 创建表 内部表：CREATE TABLE page_view if not exists(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRIN
海豚调度，dolphinscheduler-data-quality-dev-SNAPSHOT最新版本3.1.1
11-25
DolphinScheduler(海豚调度) dolphinscheduler-data-quality-dev-SNAPSHOT数据质量jar包 添加配置信息：<server-name>/conf/common.properties data-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar 这里的data-quality.jar.name请根据实际打包的名称来填写, 如果单独打包data-quality的话，记得修改包名和data-quality.jar.name一致。 如果是老版本升级使用，运行之前需要先执行sql更新脚本进行数据库初始化。 如果要用到MySQL数据，需要将pom.xml中MySQL的scope注释掉 当前只测试了MySQL、PostgreSQL和HIVE数据源，其他数据源暂时未测试过 Spark需要配置好读取Hive元数据，Spark不是采用jdbc的方式读取Hive
FAILED: ParseException line 5:29 missing EOF at ‘)‘ near ‘1‘
words8的博客
07-22 1万+
FAILED: ParseException line 5:29 missing EOF at ')' near '1' 看是不是\t，只需在sql前按删除键。若一下子删除了多格就是/t了，需要换成空格；否则不用换。
Hive 建表客户端报错 missing EOF at “/“
最新发布
qq_43750656的博客
05-02 3372
后来把sql中的注释去掉以后，或者把注释开头替换成 – 此异常便可以解决。在创建表时，我使用的是idea客户端，报了如下错误。
【大数据技术】hive3建表时报错ParseException line 11:0 missing EOF at ‘comment‘ near ‘‘/xxx‘‘经检查是因为语句顺序不当引起的
u011762522的博客
07-25 3920
【大数据技术】hive3建表是报错ParseException line 11:0 missing EOF at 'comment' near ''/xxx''经检查是因为语句顺序不当引起的， hive建表要按正确的关键字顺序才能建表成功
hive报错 ParseException line 10:7 missing EOF at 'by' near 'group'
热门推荐
syfly007的专栏
01-13 10万+
查询： select a,b,c   from (select a,b,c           from (select a,b,c                   from table) a          where rno = 1)   group by a; 报错：FAILED: ParseException line 10:7 missing EOF at '
PostgreSQL ERROR: invalid escape string 解决办法
12-16
今天有同事在配置PostgreSQL为Hive元数据库后，运行Hive SQL时遇到以下报错信息： 代码如下: Caused by: MetaException(message:Got exception: org.apache.hadoop.hive.metastore.api.MetaException javax.jdo.JDODataStoreException: Error executing JDOQL query “SELECT “THIS”.”NAME” AS NUCORDER0 FROM “DBS” “THIS” WHERE (LOWER(“THIS”.”NAME”) LI
hive3.1.0-antrl3.5.2-Hivegrammar源码.zip
08-23
Antlr是一种语言识别的工具，可以用来构造领域语言。 使用antlr需要我们提前定义好识别字符流的词法规则和用于解释Token流的语法分析规则。然后，antlr会根据我们提供的语法文件自动生成相应的词法/语法分析器。hive借助Antlr定义SQL的词法规则和语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree。HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程，需要前置了解一下antlr是怎么工作的。 HiveLexer.g：词法解析文件，定义了所有用到的token。 HiveParser.g：语法解析文件，实现了所有的Hive语法解析。 FromClauseParser.g：FROM语句解析。 IdentifiersParser.g：自定义函数解析，标识符定义 函数名称、系统函数、关键字等。 nonReserved，非保留的关键字可以作为标识符的。比如 select a as date from mytable 这个date不添加转义会报错的，但是该处如果添加 “ | KW_DATE ” dat
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
squirrel-sql-4.2.0-standard.jar
05-09
SQuirreL SQL Client A Java SQL client for any JDBC compliant database 网上有很多SQuirrel SQL Client安装配置及连接...（2）hive连接附加jar类不完整导致成功连接后执行sql报错； （3）修改hadoop和hive的配置文件
在python中使用pyspark读写Hive数据操作
09-16
主要介绍了在python中使用pyspark读写Hive数据操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
0439-Hive启用Sentry后如何限制用户提交Yarn资源池
01-07
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： ...提示：代码块部分可以左右滑动查看噢 1.文档编写目的 在前面Fayson介绍了《如何使用Cloudera ...
hive 参数优化记录
zhanggf的博客
09-19 1995
  HDFS非常容易存储大数据文件，如果Hive中存在过多的小文件会给namecode带来巨大的性能压力。同时小文件过多会影响JOB的执行，hadoop会将一个job转换成多个task，即使对于每个小文件也需要一个task去单独处理，task作为一个独立的jvm实例，其开启和停止的开销可能会大大超过实际的任务处理时间。   同时我们知道hive输出最终是mr的输出，即reducer（或mapper...
hive报错整理
一颗奶球的博客
04-22 427
ParseException line 10:7 missing EOF at ‘by’ near ‘group’
hivesql报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;
03-21
这个错误通常是由于Hive的元数据存储服务无法正常启动导致的。您可以尝试检查Hive的配置文件和元数据存储服务是否正确配置，并确保Hadoop集群正常运行。如果问题仍然存在，您可以尝试重新安装Hive或联系Hadoop和Hive...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值