hive中 map字段的查询问题

最新推荐文章于 2023-09-06 17:01:51 发布
最新推荐文章于 2023-09-06 17:01:51 发布
阅读量923 收藏
点赞数
分类专栏： 大数据 文章标签： hive java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manbufenglin/article/details/111226547
版权 
在进行hive sql查询map字段值时报错:
NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?])  
仔细分析报错原因后再检查sql发现，sql中使用了关键字values,修改字段别名vals或使用上撇号引起来即可解决。

hive (sparktest)> select name,size(family) size,family['father'] father,family['sister'] sister,map_keys(family) keys,map_values(family) values from hive_map;
NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?])
        at org.antlr.runtime.DFA.noViableAlt(DFA.java:158)
        at org.antlr.runtime.DFA.predict(DFA.java:116)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.function(HiveParser_IdentifiersParser.java:3538)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.atomExpression(HiveParser_IdentifiersParser.java:6897)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceFieldExpression(HiveParser_IdentifiersParser.java:6988)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceUnaryPrefixExpression(HiveParser_IdentifiersParser.java:7324)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceUnarySuffixExpression(HiveParser_IdentifiersParser.java:7380)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceBitwiseXorExpression(HiveParser_IdentifiersParser.java:7542)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceStarExpression(HiveParser_IdentifiersParser.java:7685)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedencePlusExpression(HiveParser_IdentifiersParser.java:7828)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceConcatenateExpression(HiveParser_IdentifiersParser.java:7967)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceAmpersandExpression(HiveParser_IdentifiersParser.java:8177)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceBitwiseOrExpression(HiveParser_IdentifiersParser.java:8314)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceSimilarExpressionMain(HiveParser_IdentifiersParser.java:8801)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceSimilarExpression(HiveParser_IdentifiersParser.java:8697)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceEqualExpression(HiveParser_IdentifiersParser.java:9537)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceNotExpression(HiveParser_IdentifiersParser.java:9703)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceAndExpression(HiveParser_IdentifiersParser.java:9812)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceOrExpression(HiveParser_IdentifiersParser.java:9953)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.expression(HiveParser_IdentifiersParser.java:6686)
        at org.apache.hadoop.hive.ql.parse.HiveParser.expression(HiveParser.java:41850)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectItem(HiveParser_SelectClauseParser.java:1662)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectList(HiveParser_SelectClauseParser.java:1176)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:950)
        at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:41988)
        at org.apache.hadoop.hive.ql.parse.HiveParser.atomSelectStatement(HiveParser.java:36720)
        at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:36987)
        at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:36633)
        at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpressionBody(HiveParser.java:35822)
        at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:35710)
        at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:2284)
        at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1333)
        at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:208)
        at org.apache.hadoop.hive.ql.parse.ParseUtils.parse(ParseUtils.java:77)
        at org.apache.hadoop.hive.ql.parse.ParseUtils.parse(ParseUtils.java:70)
        at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:468)
        at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1317)
        at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1457)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1237)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1227)
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:233)
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:184)
        at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:403)
        at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:821)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:759)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:686)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:226)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:141)
FAILED: ParseException line 1:119 cannot recognize input near 'values' 'from' 'hive_map' in function specification

 

manbufenglin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive操作命令大全.txt
12-19
最近在公司实习，对hive进行了学习，做了些整理的笔记。 基础命令 show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有表 desc 表名; # 显示表结构 show partitions 表名; # 显示表名的分区 show create table_name; # 显示创建表的结构 # 建表语句 # 内部表 use xxdb; create table xxx; # 创建一个表，结构与其他一样 create table xxx like xxx; # 外部表 use xxdb; create external table xxx; # 分区表 use xxdb; create external table xxx (l int) partitoned by (d string) # 内外部表转化 alter table table_name set TBLPROPROTIES ('EXTERNAL'='TRUE'); # 内部表转外部表 alter table table_name set TBLPROPROTIES ('EXTERNAL'='FALSE');# 外部表转内部表 # 表结构修改 # 重命名表 use xxxdb; alter table table_name rename to new_table_name; # 增加字段 alter table table_name add columns (newcol1 int comment ‘新增’)； # 修改字段 alter table table_name change col_name new_col_name new_type； # 删除字段(COLUMNS中只放保留的字段) alter table table_name replace columns (col1 int,col2 string,col3 string)； # 删除表 use xxxdb; drop table table_name; # 删除分区 # 注意：若是外部表，则还需要删除文件(hadoop fs -rm -r -f hdfspath) alter table table_name drop if exists partitions (d=‘2016-07-01'); # 字段类型 # tinyint, smallint, int, bigint, float, decimal, boolean, string # 复合数据类型 # struct, array, map
hive笔记：复杂数据类型-map结构
weixin_30642869的博客
11-01 940
map 结构 1. 语法：map(k1,v1,k2,v2,…) 操作类型：map ，map类型的数据可以通过'列名['key']的方式访问 案例： select deductions['Federal Taxes'],deductions['State Taxes'], deductions['Insurance'] from e...
快速学习-Hive 数据类型
01-07
第 3 章 Hive 数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。 3.2 集合数据类型 Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的Array 和 Map 类似，而 STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。 案例实操 1） 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hi
HIVE查询优化
01-07
所有的调优都离不开对CPU、内存、IO这三样资源的权衡及调整 Hive QL的执行本质上是MR任务的运行，因此优化主要考虑到两个方面：Mapreduce任务优化、SQL语句优化 一、Mapreduce任务优化 1、设置合理的task数量（map task、reduce task） 这里有几个考虑的点，一方面Hadoop MR task的启动及初始化时间较长，如果task过多，可能会导致任务启动和初始化时间远超逻辑处理时间，这种情况白白浪费了计算资源。另一方面，如果任务复杂，task过少又会导致任务迟迟不能完成，这种情况又使计算资源没有充分利用。 因为其读取输入使用Hadoop API，所以其m
Hive中的map类型及其操作
m0_67392661的博客
03-20 6251
–创建表，并定义map类型 create table employee(id string, perf map<string, string>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',' --map形式key:value,k
Hive之Map常用方法
weixin_43597208的博客
09-20 7437
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$.k0’），即可取出值abc,如果是map数据类型，这个值该怎么取呢？可以适用field[‘k0’]这种形式取出abc，顺便把map数据类型的常用方法做个总结；
Hive复杂数据类型(array类型、map类型、struct类型)
最新发布
2202_75347029的博客
09-06 2852
一、array类型建表语句：create table 表名(要素1 类型，要素2 类型，要素3 array) row format delimited fileds terminated by '\t' collection items terminated by ',';
Hive 之查询
hj1993的博客
02-13 776
满外连接：将会返回所有表中符合WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话，那么就使用NULL值替代。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。左外连接：JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。，导出到本地只会有两个文件有数据，另一个为空，只用到了两个。语句，但是只支持等值连接，不支持非等值连接，即表与表之间。必须有一列值相等作为连接条件，n 张表连接，至少要有。连接 n个表，至少需要n-1个连接条件。
Hive创建外部表异常
qq_23871147的博客
07-22 987
NoViableAltException(158@[]) at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1074) at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202) at org.apache.h
hive中将string数据转为bigint的操作
12-14
使用 CAST 函数将 STRING 转为 BIGINT: ...补充知识：hive中bigint和varchar字段做关联，关联数据错误的解决方法 把bigint和varchar都隐式转换成String类型的就可以关联出正确的结果了 cast(t1.PARTY_NUM as str
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
hive的集合类型Array、Map和Struct及相应的创建、插入、查询操作
热门推荐
ddda的CSDN
08-13 2万+
hive的集合数据类型包括三种，分别是 Array、Map和Struct 下面分别介绍一下关于集合类型的创建表、插入数据以及查询的方法 1、创建包含有集合数据类型的hive表 create table test_set( id INT, name STRING, hobby ARRAY&lt;STRING&gt;, //array中元素为String类型 friend MAP&lt...
otl_stream查询返回数据_Hive查询18种方式
weixin_39592315的博客
12-11 379
前言大家一定对Hive不陌生吧！Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能(HQL)。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。因此，hive十分适合对数据仓库进行统计分析。本期内容，我们就来探讨一下，关...
Hive 将查询语句转存到Map字段
Eric的专栏
08-29 5900
将查询语句得到的数据，存放到hive表的map字段中， 在一般的查询语句里，返回的字段都是String类型， 直接insert到hive表的map字段会报类型错误。 去咨询了大数据的同学，也不知道该怎么弄。 从网上搜到的，都是将主句转存为文件，再把文件导入到map字段。 实际只需要一个函数就可以。 str_to_map. insert overwrite table
Hive表种map字段的查询取用
a45691316的博客
04-18 4306
Hive表种map字段的查询取用 建表可以用 map<string,string> 查询时可以按照 aaa[bbb], aaa 是map字段名，bbb是其中的参数名，就可以取到这个参数的值了 当参数名bbb是...
hive中使用map和array
yinbucheng的博客
04-29 2403
create table table1 (a array, b array) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ','; load data local inpath "/files/arraytest.txt"  overwrite into table tab
快速了解Hive
qq_52150032的博客
06-08 358
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。通过这里的分析我们可以了解到Hive可以通过sql查询Ha
spark DataSet和DataFrame join 关联多列操作
manbufenglin的专栏
12-30 7168
spark在进行两个dataFrame join时，关联条件为多列时，我们可以这样做： JAVA： Dataset<Row> resultTemp = user_prefer_ds4 //字段列进行关联时,左连接，关联字段（userId==myUserId && itemId==myItemId） ....
hive sql关于map字段的函数
08-29
首先，我们可以使用`map_keys()`函数来获取map字段中的键值，这个函数返回一个包含所有键的数组。比如，假设有一个map字段叫做`myMap`，可以通过以下方式获取键值： ``` SELECT map_keys(myMap) FROM tableName; ```...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值