kryo序列化-默认bufferSize

最新推荐文章于 2024-05-08 15:28:44 发布
最新推荐文章于 2024-05-08 15:28:44 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： kryo 文章标签： kryo java bufferSize
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tz6226769/article/details/53455290
版权
  • 问题
    • 采用kryo序列化时，经常遇到的这样的报错

  • 问题原因：
    • 使用kryo姿势不正确
    • 在构造Output时，使用的默认构造方法，遇到大对象时，导致缓冲区溢出

这里写图片描述

* 使用这样的方法，Output的默认最大maxBufferSize为4096字节

这里写图片描述

* 所以当遇到超过4096字节的对象时，会发生缓冲区溢出，所以会有那样的报错
  • 本地测试结果：

这里写图片描述

这里写图片描述

  • 解决问题
    • 针对自己的业务场景，使用自定义缓冲区的构造函数代替默认的，如下图所示

这里写图片描述

youKG123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark kryo java_Spark 配置Kryo序列化机制
weixin_35897007的博客
02-16 307
一、Spark 的序列化序列化Spark 是一个高性能、分布式的、基于内存计算的计算引擎，Spark 集群中包含多个节点，各节点之间要进行通信(比如数据传输，Spark 通过 RPC 进行节点间的通信)，因而必定存在序列化(对象转字节数组)和反序列化(字节数组转对象)。二、Java Serialization 和 Kryo SerializationSpark 目前支持两种序列化机制：java n...
java spark-streaming Kryo序列化缓冲区太小报错
weixin_43241706的博客
05-20 678
错误信息： KryoException: Buffer overflow. Available: 0, required：XXX SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/data/hadoop/yarn/local/filecache/185/spark2-hdp-yarn-archive.tar.gz/slf4j-log4j12-1.7.16.jar!/org/slf4j/
【Spring 技术特性】采用 protostuff 和 kryo 高性能序列化框架实现 RestTemplate 的序列化组件
最新发布
2401_84815583的博客
05-08 641
*** 序列化对象* @return*/try {/*** 反序列化对象* @return*/T instance;try {/*** 序列化列表* @return*/try {try {if (bos!= null) {/*** 反序列化列表* @return*/try {不修改 RedisSerializer 组件和重写操作直接自定义 RedisClient 工具类方式，代理 RedisTemplate 的工具类方法@Autowired/*** @return*//*** @return*/});
【Spark调优】Kryo序列化
weixin_30477797的博客
03-18 131
【Java序列化与反序列化】 Java序列化是指把Java对象转换为字节序列的过程；而Java反序列化是指把字节序列恢复为Java对象的过程。序列化使用场景：1.数据的持久化，通过序列化可以把数据永久地保存到硬盘上（通常存放在文件里）。2.远程通信，即在网络上传送对象的字节序列。 这篇文章写的不错https://blog.csdn.net/wangloveall/article/details...
kryo
weixin_30815427的博客
08-23 219
测试kryo与jdk的ObjectOutputStream kryo常用设置 InstantiatorStrategy即初始化策略，默认kryo在反序列化对象时需要对象的类有一个零参数构造器，该构造器可以是private的，kryo通过反射调用该构造器来实例化对象。如果没有这样一个构造器，就需要使用kryo.setInstantiatorStrategy(new St...
Spark_Spark优化_使用kryo 序列化
迎难而上
05-31 3083
参考文章： 1.Spark 配置Kryo序列化机制 https://www.jianshu.com/p/68970d1674fa 2.Spark kyro Serialization https://www.jianshu.com/p/141bb0244f64 3.Spark中使用kyro序列化 https://blog.csdn.net/wangweislk/article/details/78999814 4.【Spark七十八】Spark Kyro序列化 https://www.ite
Kryo序列化及反序列化用法示例
08-29
<artifactId>kryo-shaded <version>3.0.3 ``` 接下来，创建一个测试类KryoTest，用于测试Kryo的序列化和反序列化功能： ```java package com.nettm.serializable; import java.io.ByteArrayInputStream; import ...
kryo-shaded-3.0.3-API文档-中英对照版.zip
04-19
赠送jar包：kryo-shaded-3.0.3.jar； 赠送原API文档：kryo-shaded-3.0.3-javadoc.jar； 赠送源代码：kryo-shaded-3.0.3-sources.jar； 赠送Maven依赖信息文件：kryo-shaded-3.0.3.pom； 包含翻译后的API文档：kryo-...
tomcat-session序列化（tomcat-kryo序列化）
06-21
tomcat kryo序列化，msm-memcached-session-manager-tc7-1.8.2
chill:Kryo 序列化库的 Scala 扩展
08-04
寒意 扩展，包括序列化程序和一组类，以简化 Kryo 在 Hadoop、Storm、Akka 等系统中的配置。兼容性版本之间不保证序列化兼容性，因此，我们不建议将其用于长期存储。 序列化高度依赖于 scala 版本兼容性和底层 Kryo ...
kryo-serializers-0.41-API文档-中文版.zip
07-05
赠送jar包：kryo-serializers-0.41.jar； 赠送原API文档：kryo-serializers-0.41-javadoc.jar； 赠送源代码：kryo-serializers-0.41-sources.jar； 赠送Maven依赖信息文件：kryo-serializers-0.41.pom； 包含翻译后...
Spark任务Kryo序列化缓冲区溢出，设置Kryo序列化缓冲区大小
雾岛与鲸的博客
07-30 3253
背景 今天在开发SparkRDD的过程中出现Buffer Overflow错误，查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了，日志建议调大spark.kryoserializer.buffer.max的value，搜索了一下设置keyo序列化缓冲区的方法，特此整理记录下来。 20/01/08 17:12:55 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 4, s015.test.com, executor 1):
【Spark调优】提交job资源参数调优
weixin_30565327的博客
03-19 278
【场景】 　　Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。 　　spark提交作业，yarn-cluster模式示例： 　　./bin/spark-submit\ 　　--class com.ww.rdd.wordcount \ 　　--m...
Kryo序列化与反序列化两种方式
weixin_41939278的博客
09-07 7023
1、第一种是序列化对象到byte[]，具体代码示例如下： 1.1 要序列化的对象类Simple.java： package kryoserializabletest; import java.io.Serializable; import java.util.Map; /** * Created by 0262000099 on 2018/9/6. */ public class Si...
kryo com.esotericsoftware.kryo.KryoException: Buffer underflow.
赵成默
11-30 2086
前言 今天想使用的kryo替换掉原本java自带的序列化方式，原因是kryo的序列化速度实在是太香了，比Java至少高出了近4倍（但是kryo也有缺点，不够成熟，bug多，跨语言难等），这些都不是正点 错误 在测试1w数据的时候，反序列化一直失败，抛出下面的错误 com.esotericsoftware.kryo.KryoException: Buffer underflow. 缓存溢出？？？！我原先还以为是数据太大了，就缩小数据量试一下，还是不行 尝试google，度娘都没有结果 下面先看看我的代码
最近项目在运行时出现"Buffer too small"
热门推荐
ReversalC的专栏
01-04 1万+
int __cdecl _vsprintf_s_l ( char *string, size_t sizeInBytes, const char *format, _locale_t plocinfo, va_list ap ) { int retvalue = -1; /* val
python Kryo序列化
08-12
Kryo 是一个高效的 Java 序列化库，它主要用于将 Java 对象转化为字节流以便存储或传输。虽然 Kryo 是为 Java 设计的，但是也有一些第三方库和插件将其扩展到其他语言，例如 Python。 在 Python 中，可以使用 `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值