把json数据格式的hive表映射到presto

最新推荐文章于 2022-11-06 17:01:41 发布
最新推荐文章于 2022-11-06 17:01:41 发布
阅读量1k 收藏 1
点赞数
分类专栏： 大数据常见问题 文章标签： presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li1579026891/article/details/122109900
版权

在使用presto的时候报这个错误：
deserializer does not exist: org.openx.data.jsonserde.JsonSerDe

这里面主要是通过presto查询hive表中的数据，但是hive表中的数据是json格式，所以presto无法识别，因此会报这个错

解决方法：
把 json-serde-1.3.8-jar-with-dependencies 这个jar包放到/o pt/apps/presto-server-0.236/plugin/hive-hadoop2/ 的目录下并重启 presto

关闭presto命令为：launcher stop
开启presto命令为：launcher start

再进进入即可查询hive表中的数据

山顶看数据
关注
专栏目录
大数据Presto（三）：Presto Connector连接器
Lansonli（蓝深李）的博客
11-12 1213
注意：以上mydb是指定的schema信息，需要配置读取Kafka数据的json配置文件，在Kafka中的数据一般是json格式，producer向Kafka中生产的数据有可能含有key，有可能没有key,使用presto查询Kafka中的数据，需要将Kafka中的数据映射到表字段上，那么presto读取Kafka数据时就需要有一个配置文件来配置这些内容。并且需要重启Presto才能正常访问Kafka中的数据。t1.json，映射“presto-topic1”中的用户数据，生产数据有key。
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1462
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Hive-JSON 原始数据映射 Hive 表结构
大JAVA解决方案
09-09 1400
  2017年08月18日 15:29:35 阅读数：1446 标签： hive json hadoop 大数据  更多 个人分类： 大数据-Hive 版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/u011278496/article/details/77370460   参考文档    https://cwiki.apache.org...
hive-jsonserde建表映射
Mr.Zheng的博客
03-03 560
jsonserde简介 直接解析json数据转换成hive表，可以配置映射。需要相关jar包支持~ 样例数据 {"a":"2021-03-02 21:27:55","e":"activity_on_start","faceImage":"","p":{"an":".ui.VIPCenterActivity","from":"com.imprexion.adplayer","fromActivity":""},"t":1614691675578,"uid":-1,"v":3,"device_id": "1f4
hive、presto，对json数据的查询api
startyangu的博客
05-12 311
presto和hive处理json字符串数据_随喜浇瓢水的博客-CSDN博客_presto string转json
json格式的数据导入到hive表中
热门推荐
purisuit_knowledge的专栏
09-05 1万+
总体来说，有两大类方法：  1、将json以字符串的方式整个入Hive表，然后使用LATERAL VIEW json_tuple的方法，获取所需要的列名。  2、将json拆成各个字段，入Hive表。这将需要使用第三方的SerDe。 第一种方法的的缺点是不能处理复杂类型（如果hive表中字段为array,map等）。 实战： 1. 创建表 [sql] view
hive中使用hive原生的json报错的问题
硅谷工具人
09-29 708
默认我们使用的hive自带的json包格式，创建表时格式为： CREATE EXTERNAL TABLE `ods.ods_test`( ... ) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS text; 此时如果json格式有问题，查询整个表就会出错。 所以我们使用第三方的json包来替换。 ...
json函数 presto_Presto Functions
weixin_39644146的博客
12-24 431
Presto的是什么？优势是什么呢？从官方文档中我们了解到Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。所以说，当公司业务有跨库分析时(一般情况是，业务数据库...
SparkSQL初级(聚合，Parquet,JSON,JDBC,Hive表)
南国的技术栈
12-15 851
紧接着系列博客上一篇Spark05-SparkSQL入门 的学习，这篇博客 主要讲解一些SparkSQL初级使用。 聚合（Aggregations） 内置的DataFrames函数提供常见的聚合，如count()、countDistinct()、avg()、max()、min()等。此外，用户并不局限于预定义的聚合函数，还可以创建自己的聚合函数。 无用户定义的聚合函数(Untyped User-D...
数据仓库—stg层_数据仓库之Hive快速入门 - 离线&实时数仓架构
weixin_29999895的博客
12-28 2114
数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL(Extract(抽取)、Transform(转换)、Load(加载))理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计...
Hive 报错 xec.DDLTask. Cannot validate serde: org.openx.data.jsonserde.JsonSerDe 建表错误
星月情缘的博客
01-14 4869
                   最近想通过hive来实现解析 json 数据，通过看文档说明，可以在建表时使用序列化来执行。但是现在建表的时候报错了，费了较长时间才解决的错误呢，以下分享一下如何解决的错误。                  看了一些文档得知需要把hive的jar 包添加到环境变量: 还是报错；               方法2: 需要把hive 的这个hcata...
解决Hive json Class org.openx.data.jsonserde.JsonSerDe not found Exception
weixin_40775554的博客
10-29 2272
向Hive中导入json jar包：把jar包放入$HIVE_HOME/lib/ 目录下（或其他目录中），在hive cli中执行 hive>add jar jar包的存放路径 ，例如： hive> add jar$HIVE_HOME/lib/json-serde-1.3-jar-with-dependencies.jar;(临时生效) 或者在hive-site.xml中添加属性...
【HIVE】Class org.openx.data.jsonserde.JsonSerDe not found
Sonnie0000001的博客
10-26 445
hive jsonserde
org.openx.data.jsonserde.JsonSerDe处理NULL时的坑
qq_40809853的博客
10-19 692
hive openx json jsonserde
修改json格式的全量表的方法
u011076848的专栏
10-25 2106
使用 'org.openx.data.jsonserde.JsonSerDe' 第三方的序列化的方式的表， 需要更新表结构的话，需要先变更serde方式为原始自带的方式。 方法如下： alter table test SET FILEFORMAT INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' .
Presto (三) --------- Presto 优化
在森林里麋了鹿
11-06 937
Presto 优化
Hive中文注释乱码解决方案
网易数帆社区博客
10-16 1722
本文来自网易云社区作者：王潘安快速解决方法目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决...
Hive json Class org.openx.data.jsonserde.JsonSerDe not found Exception
gedongya的博客
09-02 3741
刚搭建好Hive，处理json格式的日志时报“Class org.openx.data.jsonserde.JsonSerDe not found Exception”的异常，解决办法是在Hive和Hadoop中都要导入json的jar包： 向Hive中导入json jar包：把jar包放入$HIVE_HOME/lib/ 目录下，在hive cli中执行 add jar jar包的存放
es数据json格式拉取到hive
最新发布
07-25
要将从Elasticsearch获取的数据以JSON格式导入到Hive，可以按照以下步骤进行操作： 1. 使用Elasticsearch提供的API（如Search API）获取数据。将数据以JSON格式返回。 2. 将获取的JSON数据保存到一个文件中，例如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值