【Flink】Flink String 转成 byte[] 时 越界了 65536

已于 2022-08-26 19:41:32 修改
阅读量296 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 数据结构
于 2022-08-06 18:42:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124197809
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
在Flink的处理过程中遇到一个问题，当尝试将String转换为byte[]时出现越界错误。源代码中未发现明显问题，怀疑可能涉及到需要使用超过3个byte来表示的特殊字符。目前尚无明确的排查思路。此问题导致项目发布延迟，作者计划加班至凌晨3点解决。
摘要由CSDN通过智能技术生成

在这里插入图片描述
20220826 九师兄 今天发布版本，要加班到3点了，发个博客纪念一下。

1.概述

源代码里在将 String 转成 byte[] 时, 越界了. 源代码看不出来有什么问题, 请教下有什么排查思路吗? 存在字符需要用超过3 个 byte 来表达吗?在这里插入图片描述
报错位置位于源码

在这里插入图片描述
本人测试了好几拨，都没找到异常

 @Test
    public void basicTest() {
   
        checkBasic
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-290-035-源码-内存管理-原理与实现：内存管理
九师兄
07-01 542
2.概述 如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题： Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bit（1/8字节）就够了。 Full GC 会极大地影响性能，尤其是为了处理更大数据而开了很大内存空间的JVM来说，G.
Flink
修行的博客
08-14 1万+
Flink 一、简介 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： ​ DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Pyt...
flink基本配置
genhaoyou的博客
06-23 663
基础配置 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000);// 设置checkpoint的周期 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(2000);// 确保检查点之间有至少2000 ms的间隔【checkpoint最小间隔】 en
Flink 源码分析之一文搞懂 Flink 消息全流程
u013939918的博客
07-31 497
我们以下面代码为例：  FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("canal_monitor_order_astable", new SimpleStringSchema(), properties); consumer.setStartFromEarliest(); env.addSource(consumer).flatMap(...).print()  当 Flink.
玩转Windows /dev/(k)mem
11-13 1222
1、介绍2、介绍WINDOWS对象  2.1 它们是什么  2.2 它们的结构  2.3 对象操作3、介绍 /Device/PhysicalMemory  3.1 对象  3.2 需要写权限？4、玩 /Device/PhysicalMemory  4.1 读/写内存  4.2 什么是Callgate  4.3 不用驱动运行ring0代码  4.4 深入到进程表  4.5 Bonus Track5、
Java学习（上）
Lzdnydppx的博客
08-09 669
Java简介、Java程序基础、流程控制、数组操作、面向对象基础、Java核心类、异常处理、反射、注解、泛型、集合、IO、日期与时间、单元测试
数据结构-数组（使用数组封装了一个集合）
程序员小白
03-20 482
MyArrAyList接口 public interface MyArrAyList<E> { //添加内容方法 void add(E obj); //通过任意用户类型obj进行添加,没有返回值 //获取下标元素 E get(int index); //通过下标,进行获取用户中的元素 //获取内容个数 int size(); //直接调用方法,然后直接返回给用户个数 //修改元素 boolean set(int in
java中String类型如何转换为byte[]类型
最新发布
gb4215287的博客
06-14 7036
java中String类型如何转换为byte[]类型
flink内置函数
热门推荐
knowfarhhy
09-19 2万+
flink内置函数 flink支持的字符串函数： string1 || string2 : 两个字符串串联 CHAR_LENGTH(string) / CHARACTER_LENGTH(string) ：返回字符串字符长度 UPPER(string) ： 返回大写格式的字符串 LOWER(string) ： 返回小写格式的字符串 POSITION(string1 IN string2) ： 返回s...
精通Apache Flink读书笔记--1、2
lmalds的专栏
03-06 1万+
Flink Master Apache Flink
Flink 16种数据转换操作第一篇（本篇介绍6种）
Brave_heart4pzj的博客
12-25 4550
数据转换（Transformation），即通过从一个或多个 DataStream 生成新的DataStream 的过程，是主要的数据处理的手段。Flink 提供了多种数据转换操作，基本可以满足所有的日常使用场景。 所有的转换操作可分为： 单 Single-DataStream 多 Multi-DataStream 物理分区在这里插入代码片 三种类型 今天我们讨论 单 DataStream 转换 ...
使用Flink时从Kafka中读取Array[Byte]类型的Schema
an7800666的博客
08-29 1617
使用Flink时，如果从Kafka中读取输入流，默认提供的是String类型的Schema： val myConsumer = new FlinkKafkaConsumer08[String]("Topic名称", new SimpleStringSchema(), properties); 如果存入Kafka中的数据不是JSON，而是Protobuf类型的数据，需要用二进制...
Flink 源码解析（九）数据流转——Flink的数据抽象及数据交换过程
xingdianp的博客
11-30 833
数据流转——Flink的数据抽象及数据交换过程 本章打算讲一下flink底层是如何定义和在操作符之间传递数据的。 1.1 flink的数据抽象 1.1.1 MemorySegment Flink作为一个高效的流框架，为了避免JVM的固有缺陷（java对象存储密度低，FGC影响吞吐和响应等），必然走上自主管理内存的道路。 这个MemorySegment就是Flink的内存抽象。默认情况下，一个MemorySegment可以被看做是一个32kb大的内存块的抽象。这块内存既可以是JVM里的一个byte[]，也可以
[官方Flink进阶笔记 ] 五、 Flink 数据类型与序列化
张伯毅的专栏
02-20 1142
-------------------------一 .为 Flink 量身定制的序列化框架1.1. 为什么定制?1.2. Flink 的数据类型1.3. TypeInformation1.4. Flink 的序列化过程二 .Flink 序列化的最佳实践2.1. 最常见的场景2.2. 实践–类型声明2.2.1. 对于非泛型类，直接传入 class 对象即可。2.2.2. 对于泛型类，需要通过 TypeHint 来保存泛型类型信息。2.2.3. 预定义常量。2.2.4. 自定义 TypeInfo 和 Typ
flink中如何把timestamp转成string
weixin_35756373的博客
02-15 1453
在Flink中，可以使用Flink自带的时间转换函数将Timestamp类型转换为String类型。具体来说，可以使用toString()方法将Timestamp类型转换为字符串。例如： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.datastream...
使用哈夫曼编码解压出现数组越界的问题
十麓学java
01-25 405
在用文件流解压文件的时候，可能会出现数组越界的问题，是因为在解压最后一个字节的时候，如果是正数并且是以011或者0011这样开头的，如果没有经过处理，直接解压出来的会把前面的0弄掉，如果解决呢？ //对哈夫曼编码进行解码 /** * @param huffmanCodes 哈夫曼编码表 map * @param huffmanBytes 哈夫曼编码得到的字节数组 * @return */ private static byte[] decode (Map&l.
flink-sql所有数据类型-1.15
第一片心意的博客
11-05 3890
本文是对 flink 1.15 官网中 flink sql 数据类型部分的翻译整理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值