SparkSQL奇葩错误 UTF8String类 noSerializableException

最新推荐文章于 2024-05-08 11:02:07 发布
最新推荐文章于 2024-05-08 11:02:07 发布
阅读量615 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41227335/article/details/85321470
版权

用SparkSQL读取Hive中的数据后，将DataFrame转化成JavaRDD，想要foreach打印里面的内容，或者collect一下，都会报错：

在这里插入图片描述
说是某各类没有序列化，但是我找来找去没有在闭包内部使用外部类，连collect一下也报错。

上网查说是版本的bug，这是Spark2.2.0的bug，后面2.2.1以后就修复了，我就换了2.2.1的版本，就直接可以跑了

Jsoooo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sparksql 大小写_Spark SQL 函数全集
weixin_39664994的博客
12-31 498
ascii(e: Column): 计算第一个字符的ascii码base64(e: Column): base64转码unbase64(e: Column): base64解码concat(exprs: Column*):连接多列字符串concat_ws(sep: String, exprs: Column*):使用sep作为分隔符连接多列字符串decode(value: Column, char...
使用spark textfile读取UTF-8文件乱码问题
sinat_39130531的博客
07-04 935
spark读取utf-8中文变？
SerializationException报错的解决方法，亲测有效，嘿嘿嘿
最新发布
PythonAigc的博客
05-08 524
`SerializationException` 异常通常与 Java 对象序列化（serialization）和反序列化（deserialization）相关。这个异常可能由多种原因引起，下面我们将分析这个异常，解释可能的报错原因，并提供解决思路和方法，并附带代码示例。 ### 问题分析 `SerializationException` 并不是 Java 标准库中的一个特定异常类。但是，当你看到与序列化相关的异常时，它们可能是 `java.io.IOException` 的子类，如 `NotSeria
Spark连接Hive报错：1 字节的 UTF-8 序列的字节 1 无效 Error while instantiating
海若_matrix的博客
06-10 352
1.场景：使用Spark的Java API连接Hive java代码 public static void main(String[] args) { ThreadLocal<SparkSession> sessionPool = new ThreadLocal<>(); // 先判断会话池中是否有session，如果有就直接用，没有再创建 if (sessionPool.get() != null) { ...
大数据之spark_spark中的序列化问题详解
WuBoooo的博客
09-27 884
Task序列化问题 问题现象 本质原因 1.封装数据的bean没有实现序列化(报错图1) 封装数据的bean需要写入本地磁盘和在网络中传输，没有实现序列化出出错 2.rdd的算子中传入的函数用到了外部引用类型(闭包)，且没有实现序列化(报错图2) 本质原因的Task是在Driver端生成的，函数也是在Driver端定义的，但是真正执行是需要将Task和Task中引用都序列化，如果有没法序列化的，就会出现Task没有序列化异常 Task在底层有实现序列化接口的,所以Task可以被传输到Executor端,
flink 报错is not serializable. The object probably contains or references non serializable fields.
水镜先生的博客
07-21 1万+
今天有同事突然报了这样一个错误，刚开始确实没反应过来，成员变量不可以被序列化。。。。 Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.
shell 里面的奇葩字符实现
09-14
以下是一些在Shell中常见的奇葩字符及其详细解释： 1. **分号** (`;`)：通常作为命令分隔符，允许你在一行内执行多个命令。尽管在编写脚本时，推荐每行只写一个命令以提高可读性。 2. **双分号** (`;;`)：在`case`...
ADC查询模式.zip_奇葩
09-20
在本压缩包文件"ADC查询模式.zip_奇葩"中，我们可能找到了关于如何有效利用ADC查询模式的资料，它被描述为“非常好用”且经过测试，具有较高的精准度。 ADC查询模式通常指的是在微控制器或处理器中通过软件来控制...
js中将String转换为number以便比较
12-09
string没转换就拿去比较,结果是很头疼的 写的时候不细心,就没转换,然后拿去粗略测试下, 1<2>21.003 出现奇葩的结果了 在没有转换数据类型进行>,<的判断时候,系统比对的是unicode编码的值,出现什么结果都可能 ...
JavaScript数组的一些奇葩行为
10-22
今天，复习了一下JavaScript的数组，然后，把他的一些奇葩行为总结了一下，分享在脚本之家平台，欢迎大家参考
html5微信小游戏源码 奇葩连连看游戏源码（仅用于参考）
01-25
html5微信小游戏源码 奇葩连连看游戏源码（仅用于参考）html5微信小游戏源码 奇葩连连看游戏源码（仅用于参考）html5微信小游戏源码 奇葩连连看游戏源码（仅用于参考）html5微信小游戏源码 奇葩连连看游戏源码（仅...
Python json 错误xx is not JSON serializable解决办法
12-25
Python json 错误xx is not JSON serializable解决办法 在使用json的时候经常会遇到xxx  is not JSON serializable，也就是无法序列化某些对象。经常使用django的同学知道django里面有个自带的Encoder来序列化时间等常用的对象。其实我们可以自己定定义对特定类型的对象的序列化，下面看下怎么定义和使用的。 #!/usr/bin/env python # -*- coding: utf-8 -*- #json_extention #2014-03-16 #copyright: orangleliu #license: BS
Flink无法序列化问题 *** is not serializable.
weixin_48481972的博客
03-11 2731
解决Flink无法序列化的一种思路
Java序列化NotSerializableException解决方法
m0_49528561的博客
07-31 2631
Java序列化NotSerializableException解决方法 首先，对于Java序列化，要注意的是序列化的对象所对应的类必须继承Serializable或Externalizable接口。 其次，序列化的对象中如果含有其他自定义类的实例化对象，那么该对象对应的类也应该进行深度序列化，即也要继承Serializable或Externalizable接口。例如： Class MyClass implements Serializable{ private MyLittleClass mlc =
TypeError: Object of type ‘bytes‘ is not JSON serializable
热门推荐
bear_sun的博客
02-28 9万+
笔者将mat文件用python读取数据之后，得到一个字典数组，笔者想将这个字典数组储存到json文件中，因此应该先编码json数据，因此用到了json.dumps函数进行编码，但是我使用json.dumps函数时发现有会出现问题： TypeError: Object of type 'bytes' is not JSON serializable 后来查阅相关资料才发现，默认...
NotSerializableException:不可序列化异常
ginger_mr的博客
04-01 2953
NotSerializableException:不可序列化异常 如果一个想要实现序列化,前提要实现一个叫Serializable接口,如果不实现,就会抛出该异常。 代码演示 public class ObjectInputStreamDemo { public static void main(String[] args) throws IOException { //写...
sparkCore版本冲突
shuaidong_521的博客
03-27 475
org.apache.spark.unsafe.types.UTF8String.toInt()I 这是我这边导入的依赖~ org.apache.spark spark-core_2.11 2.2.1 org.apache.spark spark-sql_2.11 2.1.1 如下是一个小demo,在执行的过程中报:Exception in thread “main” java.lang.NoSuchMethodError: org.apache.spark.unsafe.types.UTF8Str
Serializable序列化作用
maikelsong的专栏
02-18 407
对象的序列化主要有两种用途： 　　1） 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 　　2） 在网络上传送对象的字节序列。 一． JDK类库中的序列化API 　　java.io.ObjectOutputStream代表对象输出流，它的writeObject(Object obj)方法可对参数指定的obj对象进行序列化，把得到的字节序列写到
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3118
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
chatgpt奇葩问题回答
09-17
ChatGPT是一个基于人工智能的聊天机器人，它可以通过学习海量数据来进行自然语言理解和生成回复。然而，由于它的工作原理，有时它可能会给出一些奇葩的回答。 这是因为ChatGPT是通过大规模训练来学习生成回复的，它可以通过模式识别和语言理解来提供合理的回答。然而，它并没有一种内在的理解认知能力，所以在回答问题时可能会出现一些奇葩的回答。 例如，当被问到一些常识性的问题时，ChatGPT可能会给出一些奇葩的回答，因为它无法真正理解问题的意义。它只是通过统计学习和模式匹配来给出回复，并没有真正的推理能力。 另外，由于它的训练数据是来源于互联网，那么它可能会被一些错误或者不准确的信息所影响。这意味着有时候它可能会给出一些不准确的答案或者奇怪的回复。 尽管ChatGPT在某些方面表现出令人惊讶和有趣的能力，但我们仍然需要谨慎对待它的回答。它的回答只是基于数据和模式的统计结果，并没有真正的智能。使用ChatGPT时，我们需要对其回答保持批判和判断，并考虑到其局限性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值