记录一次由于流的read(byte[3 * 1024], 0, len)； 读取不足定义的长度，引发的线上bug

最新推荐文章于 2024-09-17 21:57:02 发布
置顶 最新推荐文章于 2024-09-17 21:57:02 发布
阅读量549 收藏
点赞数
分类专栏： 技术栈 文章标签： java java流 http请求大数据 base64转码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mufeng633/article/details/118153466
版权

场景

需求流程：body中携带参数将参数、签名、文件流(base64)格式，通过Http请求第三方接口进行转义音频
请求参数如下：

{
    "sign":"BSKJFKGJKSLQK",
    "body":{
        "bt":"Base64字符"
    }
}

1.第一版代码（OOM）

1.1.流程概要

 - 从网络中获取流，将流转成base64字符
 - 将base64字符串与其它参数进行toString(),这时由于base64占用很大的堆内存，极易引发OOM
 - 通过http发起请求

1.2.概要代码

1.2.1.获取网络中流文件并转Base64字符串(内存占用极高)

/**
	 * @description: 文件转Base64字符串
	 * @param fileUrl
	 * @author: cc
	 * @date: 2021/5/13 15:52
	 */
	public String fileToString(String fileUrl) throws IOException {
		byte[] fileBytes = FileUtils.getNetWorkFileBytes(fileUrl);
		return LybUtil.byteToBase64(fileBytes);
	}


/**
     * @description: 获取网络中文件流
     * @param urlPath	文件路径
     * @author: cc
     * @date: 2021/1/12 17:12
     */
    public static byte[] getNetWorkFileBytes(String urlPath) throws IOException{
        URL url = new URL(urlPath);
        HttpURLConnection conn = (HttpURLConnection)url.openConnection();
        //设置超时间为3秒
        conn.setConnectTimeout(3*1000);
        //防止屏蔽程序抓取而返回403错误
        conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
        //获取输入流
        InputStream inputStream = conn.getInputStream();
        //获取文件字节数组
        byte[] bytes = readInputStream(inputStream);
        return bytes;
    }

public static byte[] readInputStream(InputStream inputStream) throws IOException {
        byte[] buffer = new byte[1024];
        int len = 0;
        ByteArrayOutputStream bos = new ByteArrayOutputStream();
        while ((len = inputStream.read(buffer)) != -1) {
            bos.write(buffer, 0, len);
        }
        bos.close();
        return bos.toByteArray();
    }
    
 /**
     * @description: 字节数组转base64
     * @author: cc
     * @date: 2021/3/1 11:39
     */
    public static String byteToBase64(byte[] b) {
        return Base64.getEncoder().encodeToString(b);
    }

1.2.2.封装参数

JSONObject param = new JSONObject();
        param.put("bt", 流的base64字符串);
        param.toJSONString();

HttpUtil.sendRequest(sttFileUrl, "POST", params, HttpUtil.ContentTypeEnum.CONTENT_JSON.getValue());

1.2.3.发起请求代码


public static String sendRequest(String requestUrl, String requestMethod, String parameters, String contentType) {
        return baseBody(requestUrl, requestMethod, parameters, contentType);
    }
 
 /**
     * @description: http请求，body参数格式
     * @param requestUrl    请求地址
     * @param requestMethod 请求类型
     * @param parameters    请求参数
     * @param contentType   请求格式
     * @return: java.lang.String
     * @author: cc
     * @date: 2021/6/23 15:06
     */
    public static String baseBody(String requestUrl, String requestMethod, String parameters, String contentType) {
        try {
            URL url = new URL(requestUrl);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setDoOutput(true);
            conn.setDoInput(true);
            conn.setUseCaches(false);
            // 设置请求方式（GET/POST）
            conn.setRequestMethod(requestMethod);
            conn.setRequestProperty("content-type", contentType);
            // 当outputStr不为null时向输出流写数据
            if (null != parameters) {
                OutputStream outputStream = conn.getOutputStream();
                // 注意编码格式
                outputStream.write(parameters.getBytes("UTF-8"));
                outputStream.close();
            }
            // 从输入流读取返回内容
            InputStream inputStream = conn.getInputStream();
            InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "utf-8");
            BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
            String str = null;
            StringBuffer buffer = new StringBuffer();
            while ((str = bufferedReader.readLine()) != null) {
                buffer.append(str);
            }
            // 释放资源
            bufferedReader.close();
            inputStreamReader.close();
            inputStream.close();
            conn.disconnect();
            return buffer.toString();
        } catch (ConnectException ce) {
            System.out.println("连接超时：{}" + ce);
        } catch (Exception e) {
            System.out.println("https请求异常：{}" + e);
        }
        return null;
    }

以上代码由于会将base64转字符串存到堆内存中，故内存占用极高，会引发OOM异常。
那有没有一种方法，我把base64字符串，通过流的方式一点一点的发过去呢，这样就解决了内存占用问题。答案是有的，接着往下看：

2.第二版代码（base64字符串问题）

基于上面的问题，和同事讨论之后，给出了一个方案，就是通过流一点点传输

2.1 概要代码

// 当outputStr不为null时向输出流写数据
            if (!EmptyTool.isNull(lybSttFileDto)) {
                LybSttFileDto.LybSttFileBody body = lybSttFileDto.getBody();
                OutputStream outputStream = conn.getOutputStream();
                outputStream.write("{ \"ver\":\"1.0\", \"sysVer\":\"1.0.0\", \"sys\":\"andriod\", \"body\":{  \"appKey\":\"com.fsk.sttfile\"".getBytes());
	            outputStream.write((",\"bt\":\"").getBytes());

               // 此方法由于实际读取的字节不足3字节，会导致base64时补充=符号，之后会引发录音文件偏大或偏小，无法播放情况
               byte[] buffer = new byte[3 * 1024];
                int len = 0;
                while ((len = lyInputStream.read(buffer)) != -1) {
                    outputStream.write(base64(Arrays.copyOfRange(buffer, 0, len)).getBytes());
                    outputStream.flush();
                }

                outputStream.write(("\"").getBytes());
   			    outputStream.write("}}".getBytes());
                outputStream.flush();
                outputStream.close();
            }

理想情况下，每次读取3kb的数据，之后进行base64，这样就是完整的base64字符串了。

但是由于 read(byte[], 0, len); 方法，实际读取的字节是不足3kb的，那么在进行base64时就会补位操作，字符串后面为追加 == 符号。进而导致第三方将base64转文件时，出现文件无法播放问题。

参考：
在这里插入图片描述
在这里插入图片描述

3.第三版代码（定位问题、每次只读1kb）

由于第二版代码read()字节时，不足3*1024字节，会导致base64编码问题。
思考之后得出结果：我每次读取一个字节，当读取的字节数等于3kb时，我就进行一次base64，这样就可以解决上述的问题了。

if (!EmptyTool.isNull(lybSttFileDto)) {
                LybSttFileDto.LybSttFileBody body = lybSttFileDto.getBody();
                OutputStream outputStream = conn.getOutputStream();
                outputStream.write("{ \"ver\":\"1.0\", \"sysVer\":\"1.0.0\", \"sys\":\"andriod\", \"body\":{  \"appKey\":\"com.fsk.sttfile\"".getBytes());
   	        outputStream.write((",\"bt\":\"").getBytes());

               /*
                * 一次读取一个字节，解决上述问题
                */
                int size = 3 * 1024;
                int b;
                byte[] buffer = new byte[size];
                int i = 0;
                while ((b = lyInputStream.read()) != -1) {
                    buffer[i] = (byte) b;
                    i++;
                    if (i % size == 0) {
                        outputStream.write(base64(Arrays.copyOfRange(buffer, 0, size)).getBytes());
                        outputStream.flush();
                        i = 0;
                    }
                } // while

                if (i != 0) {
                    String tempStr = Base64.getEncoder().encodeToString(Arrays.copyOfRange(buffer, 0, i));
                    outputStream.write(tempStr.getBytes());
                    outputStream.flush();
                }

                outputStream.write(("\"").getBytes());
                outputStream.write("}}".getBytes());
                outputStream.flush();
                outputStream.close();
            }

通过上述代码就解决了base64转码问题以及OOM问题。
这个问题个人觉得很有意思，故拿出来分享，欢迎大家讨论

最后附上一个接收base64字符串进行转文件的代码示例，其中有一个意思的是，字符串String类型可以用byte[]数组接收

    
@RequestMapping("/send")
    public BaseResponse<String> send(@RequestBody JSONObject jsonObject) throws IOException {
        JSONObject object = JSON.parseObject(jsonObject.toJSONString());
        JSONObject body = JSON.parseObject(object.get("bt").toString());
        LybSttFileBody lybSttFileBody = JSON.toJavaObject(body, LybSttFileBody.class);

        FileOutputStream fos = new FileOutputStream("D:\\file\\文件哈哈.txt");
        fos.write(lybSttFileBody.getBt());
        fos.flush();
        fos.close();
        return new BaseResponse<>();
    }

@Getter
@Setter
public class LybSttFileBody {
        @ApiModelProperty(value = "需识别的音频流 需要流做base64编码处理")
        private byte[] bt;
}

JSONObject param = new JSONObject();
 param.put("bt", "流的base64字符串");
沐风Cc
关注
专栏目录
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 20万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
InputStream转换为String, byte[] data = new byte[1024]详解
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
09-27 7404
import java.io.*; import java.nio.charset.Charset; public class Main { public static void main(String[] args) { String str = "hello123456"; String str2 = ""; try {
易语言读mysql字节集_易语言-sql server读取字节集的办法
weixin_39931390的博客
01-20 907
这个和之前的还不一样，因为利用的是另一个核心支持库-外部数据库。下面源码举例展示了读取字节集以及将字节集转换为十六进制的文本的方法。请自行揣摩。.版本 2.支持库 spec.程序集 窗口程序集1.子程序 __启动窗口_创建完毕.局部变量 SQL句柄, 整数型外部数据库1.打开 (“DRIVER=SQL Server;SERVER=” ＋ “(local)” ＋ “;UID=” ＋ “sa” ＋ “...
len=in.read(b,0,len)和len=in.read(b)的区别
weixin_30362233的博客
02-17 582
byte[] byte = new byte[1024]; int len =0 ; while((len=in.read(b))!=-1){ out.write(b,0,len); } read函数返回的是缓冲数组中实际上读入的字节数，无论是read(byte[] b) 还是 read(byte[] b,int off,int length)。对于read(byte[] b)，它默认执...
Linux c++ read判断文本是否读取完整
nuannuanMonet的博客
11-15 947
根据read的返回值判断: int size = read(fd, buffer, length); size &gt; 0 //size就是实际读到的文本长度 size == 0 //读到eof了，读取结束 size &lt; 0 //发生错误    
解决C++二进制文件读不全
niufuer的博客
08-10 1443
最近遇到二进制文件读不全的情况，之前使用c++读文件一直都是正确的，也因此这个问题困扰我好久。 c++读文件代码 std::ifstream input(FilePath.c_str(), std::ios::in | std::ios::binary); if (!input) std::cout << "file open error"; //int blockindex = 0, blockgridsize[3] = { 0 }; input.read((char*)(&
netty 系列之:java 中的 base64 编码器
m0_67698950的博客
03-27 4197
简介 什么是 Base64 编码呢？在回答这个问题之前，我们需要了解一下计算机中文件的分类，对于计算机来说文件可以分为两类，一类是文本文件，一类是二进制文件。 对于二进制文件来说，其内容是用二进制来表示的，对于人类是不可立马理解的。如果你尝试用文本编辑器打开二进制文件，可能会看到乱码。这是因为二进制文件的编码方式和文本文件的编码方式是不一样的，所以当文本编辑器尝试将二进制文件翻译成为文本内容的时候，就会出现乱码。 对于文本文件来说，也有很多种编码方式，比如最早的 ASCII 编码和目...
12 Java文件处理之写入、读取：IO流（上）：基本流：字节流（FileOutputStream和FileInputStream）、字符流（FileReader和FileWriter）
smalltorch的博客
09-12 962
本节我们先来介绍IO流的基本体系，并且先来学习基本流IO流：文件的读写和存储解决方案IO流的分类：根据流的方向分为输入流（读取）、输出流（写出）根据操作文件的类型分为字节流（以字节为基本单位进行数据的传输）、字符流（以字符char为单位进行数据的传输）；字节流(8 bit)，字符流(16 bit)字节流：可以操作所有类型的文件（视频、音频、纯文本等）字符流：只能操作纯文本文件（txt文件和md文件、xml文件等）什么是文件？文件就是保存数据的地方。
Ozone数据读取过程分析
走在前往架构师的路上
01-05 2020
文章目录前言Ozone数据的读取过程：基于Block，Chunk offset的数据读取Ozone数据读取相关代码分析 前言 上篇文章Ozone数据写入过程分析，笔者分享了关于Ozone数据写入的过程分析。本文，笔者来分享对应另外一个过程，数据读取过程的分析。总体来说，Ozone数据的读取和写入过程中，有着部分共同点，都涉及到了Block，Chunk，buffer的概念。论复杂度而言，读取过程还...
12 Java文件处理之写入、读取：IO流（中）：高级流（缓冲流、转换流、序列化流和反序列化流、打印流）
最新发布
smalltorch的博客
09-17 369
前面学FileReader和FileWriter字符流：对于中文只能处理当前平台的编码方式进行编码和解码，不能指定编码格式进行编码解码。这个指定编码的功能，在本节的高级流（转换流）上就会得到处理。另外，高级流都是在上节的四中基本流上面进一步封装而来的，可以说前面基本流是他们的爸爸。缓冲流（提供缓冲区，加快读取写入速度，减少和硬盘交互次数）转换流（可以指定编码格式）基本流—>缓冲流转换流（都是字符流）序列化流和反序列化流（都是字节流）打印流（不能读，只能写，只有输出流）
InputStream的read方法读取字节不完全的解决方案
Notzuonotdied的博客
04-21 7034
InputStream的read方法读取字节不完全的解决方案
Java如何进行Base64的编码(Encode)与解码(Decode)？
热门推荐
kapenter
03-17 24万+
Java进行Base64的编码(Encode)与解码(Decode)的几种方式与区别..
怎么将一个整个文件一次读到内存，然后循环从内存中读取1024字节，写入新的文件(或socket发送出去)
u012547790的专栏
04-03 5172
怎么将一个整个文件一次读到内存，然后循环从内存中读取1024字节，写入新的文件(或socket发送出去) 如何将一个整个文件一次读到内存，然后循环从内存中读取1024字节，写入新的文件(或socket发送出去) 申请内存，并读入文件如下： CString srcPath = "D:\\My Documents\\My Pictures\\新建文件夹\\知知.bmp"; //
字节流，字符流读取文件
YW博客
01-18 340
1.字节流（FileInputStream,FileOutputStream) package study; import java.io.*; public class MyFile { public static void main(String[] args){ // TODO Auto-generated method stub //读入的文件必须存在，否则报错 File f...
java中的clone()方法的研究---(6)如何编写正确的clone()方法：StringBuffer,StringBuilder
miqi770的专栏
06-10 1712
在自定义类Person中添加一个新的StringBuffer, StringBuilder属性 四：StringBuffer, StringBuilder：是对象的类型 在自定义类Person中添加新的属性：StringBuffer, StringBuilder package tt.vo; public class Person implements Cl
记一次OOM问题排查过程
weixin_34162695的博客
05-01 628
上周运维反馈线上程序出现了OOM，程序日志中的输出为 Exception in thread "http-nio-8080-exec-1027" java.lang.OutOfMemoryError: Java heap space Exception in thread "http-nio-8080-exec-1031" java.lang.OutOfMemoryError: Java heap...
字节输入流一次读取多个字节的方法
Mr.田的博客
11-12 1288
package com.itheima.demo02.InputStream; import java.io.FileInputStream; import java.io.IOException; /* 字节输入流一次读取多个字节的方法: int read(byte[] b) 从输入流中读取一定数量的字节，并将其存储在缓冲区数组 b 中。 明确两件事情: 1.方法的参数byte[]的作用? 起到...
Python file read方法：读取文件
TCatTime的博客
07-26 1万+
Python文件方法read()介绍、使用示例和注意事项。
SpringBoot下解决request请求流重复读取问题的策略
在开发过程中，我们可能会遇到一个常见的问题，即在Spring Boot项目中，由于安全需求（如防止SQL注入），我们通常会通过Filter拦截器来对请求流中的JSON数据进行校验。然而，当拦截器处理完请求后，如果后续代码尝试...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值