数值数组及 String 数组与 ByteString 的转换

最新推荐文章于 2023-08-29 10:16:00 发布
最新推荐文章于 2023-08-29 10:16:00 发布
阅读量1.5k 收藏 2
点赞数
分类专栏： IT 技术分享 文章标签： 数组 ByteString tensorrtserver 多维数组 一维数组
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013803613/article/details/102568101
版权

引入依赖

    <dependency>
        <groupId>com.google.protobuf</groupId>
        <artifactId>protobuf-java</artifactId>
        <version>1.10.0</version>
    </dependency>
    <dependency>
        <groupId>org.tensorflow</groupId>
        <artifactId>tensorflow</artifactId>
        <version>1.13.1</version>
    </dependency>

定一个一个类，用来保存转换后的 ByteString 和维度信息，因为 ByteString 本身是不包含数组的维度信息的，因此信息需要单独保存。

import com.google.protobuf.ByteString;

public class ByteStringWithDims {
	//byteString
	private ByteString byteString;
	//原始数组的维度信息
	private long[] dims;
	
	public ByteStringWithDims(ByteString byteString, long[] dims) {
		this.byteString = byteString;
		this.dims = dims;
	}
	
	public ByteString getByteString() {
		return byteString;
	}
	
	public long[] getDims() {
		return dims;
	}
}

如下的方法即可将输入的任意维度的基本类型的数组和 String 数组转成 ByteString：

	/**
	 * 将输入的数组转换成 ByteString 并保存 dims 信息
	 * @param array
	 * @return
	 */
	public static ByteStringWithDims toByteString(Object array) {
		try {
			if(null == array) {
				return null;
			}

			long[] dims = shape(array);
			if(null == dims) {
				return null;
			}
			
			//多维数组降成一维
			if(dims.length > 1) {
				array = toSingleArray(array, dims);
			}
			
			//获取数据类型
			Class<?> type = Array.get(array, 0).getClass();
			//将 string 转成 byte 数组
			if(type.equals(String.class)) {
				array = toByteArray((String[])array);
			}
			
			//利用 tensor 进行转换，提高速度
			Tensor<?> tensor = Tensor.create(array, type);
			
			ByteBuffer bb = ByteBuffer.allocate(tensor.numBytes());
			
			tensor.writeTo(bb);
			
			return new ByteStringWithDims(ByteString.copyFrom(bb.array()), dims);
		} catch (Exception e) {
			throw e;
		}
	}

如下的方法可以将 ByteString 转成指定形状，指定类型的数组：

	/**
	 * 将输入的 byteString 转成 type 类型，维度为 dims 定义的数组
	 * @param byteString
	 * @param type
	 * @param dims
	 * @return
	 */
	public static Object byteString2Array(ByteString byteString, Class<?> type, long[] dims) {
		try {
			ByteBuffer byteBuffer = byteString.asReadOnlyByteBuffer();
			
			Tensor<?> tensor = Tensor.create(type, dims, byteBuffer);
			
			Method allocateMethod = BUFF_CLAZZ_MAP.get(type).getMethod("allocate", int.class);
			Buffer buffer = (Buffer) allocateMethod.invoke(null, (String.class.equals(type)) ? tensor.numBytes() :tensor.numElements());

			Method m = Tensor.class.getMethod("writeTo", BUFF_CLAZZ_MAP.get(type));
			m.invoke(tensor, buffer);
			
			return toMultiArray(buffer.array(), dims);
		} catch (Exception e) {
			throw new RuntimeException("read result form byte string failed", e);
		}
	}

完整的代码如下：

import java.lang.reflect.Array;
import java.lang.reflect.Method;
import java.nio.Buffer;
import java.nio.ByteBuffer;
import java.nio.DoubleBuffer;
import java.nio.FloatBuffer;
import java.nio.IntBuffer;
import java.nio.LongBuffer;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Random;

import org.tensorflow.Tensor;

import com.google.protobuf.ByteString;

public class MultiArrayUtils {
	
	/**
	 * 将输入的 byteString 转成 type 类型，维度为 dims 定义的数组
	 * @param byteString
	 * @param type
	 * @param dims
	 * @return
	 */
	public static Object byteString2Array(ByteString byteString, Class<?> type, long[] dims) {
		try {
			ByteBuffer byteBuffer = byteString.asReadOnlyByteBuffer();
			
			Tensor<?> tensor = Tensor.create(type, dims, byteBuffer);
			
			Method allocateMethod = BUFF_CLAZZ_MAP.get(type).getMethod("allocate", int.class);
			Buffer buffer = (Buffer) allocateMethod.invoke(null, (String.class.equals(type)) ? tensor.numBytes() :tensor.numElements());

			Method m = Tensor.class.getMethod("writeTo", BUFF_CLAZZ_MAP.get(type));
			m.invoke(tensor, buffer);
			
			return toMultiArray(buffer.array(), dims);
		} catch (Exception e) {
			throw new RuntimeException("read result form byte string failed", e);
		}
	}
	
	/**
	 * 将输入的数组转换成 ByteString 并保存 dims 信息
	 * @param array
	 * @return
	 */
	public static ByteStringWithDims toByteString(Object array) {
		try {
			if(null == array) {
				return null;
			}

			long[] dims = shape(array);
			if(null == dims) {
				return null;
			}
			
			//多维数组降成一维
			if(dims.length > 1) {
				array = toSingleArray(array, dims);
			}
			
			//获取数据类型
			Class<?> type = Array.get(array, 0).getClass();
			//将 string 转成 byte 数组
			if(type.equals(String.class)) {
				array = toByteArray((String[])array);
			}
			
			//利用 tensor 进行转换，提高速度
			Tensor<?> tensor = Tensor.create(array, type);
			
			ByteBuffer bb = ByteBuffer.allocate(tensor.numBytes());
			
			tensor.writeTo(bb);
			
			return new ByteStringWithDims(ByteString.copyFrom(bb.array()), dims);
		} catch (Exception e) {
			throw e;
		}
	}
	
	/**
	 * String 数组转成二维的 byte 数组
	 * @param array
	 * @return
	 */
	private static Object toByteArray(String[] array) {
		byte[][] ret = new byte[array.length][];
		for(int i = 0; i < array.length; i++) {
			if(null != array[i]) {
				ret[i] = array[i].getBytes();
			}
		}
		return ret;
	}

	/**
	 * 多维数组的字符串
	 * @param array
	 * @return
	 */
	public static String toString(Object array) {
		if(!array.getClass().isArray()) {
			return array.toString();
		}
		
		long length = getArrayLength(array);
		StringBuffer buf = new StringBuffer();
		
		buf.append('[');
		for(int i = 0; i < length; i++) {
			buf.append(toString(Array.get(array, i)));
			buf.append(',');
		}
		
		
		buf.deleteCharAt(buf.length() - 1).append(']');
		
		return buf.toString();
	}
	
	/**
	 * 产生一个随机数组
	 * @param dims
	 * @return
	 */
	public static Object randomFloatArray(long[] dims) {
		Random r = new Random();
		Object ret = Array.newInstance(float.class, longArray2intArray(dims));
		
		MultiPoint points = new MultiPoint(dims);
		
		while(points.hasNext()) {
			long[] index = points.next();
			Object tmp = ret;
			for(int i = 0; i < index.length - 1; i++) {
				tmp = Array.get(tmp, (int) index[i]);
			}
			Array.set(tmp, (int) index[index.length - 1], (float)r.nextInt(10));
		}
		
		return ret;
	}
	
	/**
	 * 产生一个随机数组
	 * @param dims
	 * @return
	 */
	public static Object randomIntegerArray(long[] dims) {
		Random r = new Random();
		Object ret = Array.newInstance(int.class, longArray2intArray(dims));
		
		MultiPoint points = new MultiPoint(dims);
		
		while(points.hasNext()) {
			long[] index = points.next();
			Object tmp = ret;
			for(int i = 0; i < index.length - 1; i++) {
				tmp = Array.get(tmp, (int) index[i]);
			}
			Array.set(tmp, (int) index[index.length - 1], r.nextInt(10));
		}
		
		return ret;
	}
	
	/**
	 * 将一维数组转成多维数组
	 * @param result
	 * @param dims
	 * @return
	 */
	private static Object toMultiArray(Object result, long[] dims) {
		if(null == result || dims.length == 0 || dims.length == 1 || !result.getClass().isArray()) {
			return result;
		}
		
		Object ret = Array.newInstance(result.getClass().getComponentType(), longArray2intArray(dims));
		MultiPoint point = new MultiPoint(dims);
		long length = getArrayLength(result);
		if(length != point.getMaxEleNum()) {
			throw new IndexOutOfBoundsException("result size: " + length + ", not match dims: " + Arrays.toString(dims));
		}
		
		int resultIndex = 0;
		while(point.hasNext()) {
			long[] index = point.next();
			Object tmp = ret;
			for(int i = 0; i < index.length - 1; i++) {
				tmp = Array.get(tmp, (int) index[i]);
			}
			
			Array.set(tmp, (int) index[index.length - 1], Array.get(result, resultIndex));
			resultIndex++;
		}
		
		return ret;
	}
	
	/**
	 * 将高维数组降成一维数组
	 * @param array
	 * @param dims
	 * @return
	 */
	private static Object toSingleArray(Object array, long[] dims) {
		MultiPoint tp = new MultiPoint(dims);
		
		Object sample = array;
		for(int i = 0; i < dims.length - 1; i++) {
			sample = Array.get(sample, 0);
		}
		
		Object newArray = Array.newInstance(sample.getClass().getComponentType(), (int) tp.getMaxEleNum());

		int index = 0;
		while(tp.hasNext()) {
			long[] point = tp.next();
			Object tmp = array;
			for(long p : point) {
				tmp = Array.get(tmp, (int)p);
			}
			
			Array.set(newArray, index, tmp);
			index++;
		}
		
		return newArray;
	}
	
	/**
	 * 获取输入的多维数据的维度
	 * @param array
	 * @return
	 */
	private static long[] shape(Object array) {
		long length = getArrayLength(array);
		
		if(length <= 0) {
			return null;
		}
		
		List<Long> tmp = new ArrayList<>();
		
		while(length > 0) {
			tmp.add((long) length);
			array = Array.get(array, 0);
			length = getArrayLength(array);
		}
		
		long[] ret = new long[tmp.size()];
		for(int i = 0; i < ret.length; i++) {
			ret[i] = tmp.get(i);
		}
		
		return ret;
	}
	
	/**
	 * 获取数组的长度
	 * @param obj
	 * @return
	 */
	private static long getArrayLength(Object obj) {
		if(obj == null || !obj.getClass().isArray()) {
			return -1;
		}
		return Array.getLength(obj);
	}
	
	/**
	 * long[] 转 int[]
	 * @param dims
	 * @return
	 */
	private static int[] longArray2intArray(long[] dims) {
		int[] ret = new int[dims.length];
		for(int i = 0; i < dims.length; i++) {
			ret[i] = (int) dims[i];
		}
		
		return ret;
	}

	private final static Map<Class<?>, Class<? extends Buffer>> BUFF_CLAZZ_MAP = new HashMap<>();
	static {
		BUFF_CLAZZ_MAP.put(Float.class, FloatBuffer.class);
		BUFF_CLAZZ_MAP.put(Double.class, DoubleBuffer.class);
		BUFF_CLAZZ_MAP.put(Integer.class, IntBuffer.class);
		BUFF_CLAZZ_MAP.put(Long.class, LongBuffer.class);
		BUFF_CLAZZ_MAP.put(String.class, ByteBuffer.class);
	}
	
}
屈_zi
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Java String与Byte类型转换
05-14
Java String与Byte类型转换;用到网络编程.
byte数组转为string乱码_Java基础数据类型和String
weixin_39586265的博客
11-22 1635
基本类型概念java的基本数据类型可以简称为四类八种：整型：(byte、short、int、long)：整数数据类型默认是int浮点型：(float、double)字符型：(char)布尔类型：(boolean)：true 真 和 false 假byte -> short -> char -> int -> long -> float ->double（小到大）...
JAVA的String和byte[]的关系
rockyd的专栏
02-28 1948
    做JAVA经常会碰到中文乱码问题，还有各种编码的问题，特别是String类的内容需要重新编码的问题。要解决这些问题，必须了解清楚JAVA对于字符串是怎么处理的。          1，“字符”是由数字来表示的 先来重新了解一下计算机是如何处理“字符”的，这个原理是大家必须记住的，特别是在用JAVA写程序的时候，万万不可模糊。我们知道，计算机把任何东西都用数字来表示，“字符”也不例外。比如我
Okio源码阅读笔记(三)ByteString
笨鸟的专栏
04-23 9702
其实ByteString没什么好看的。看之前以为有重要内容，看完后发现没有，不过既然已经看了，就记录下来吧。ByteString封装了以下几点1、就是把一些输入类型(字符串/字节数组/ByteBuffer/byte)转成字节数组，并封装成新的ByteString返回。比如ByteString.of(...)2、封装了对ByteString的比较、加密操作，方便使用比如ByteString.enco...
java string byte[] 互相转换
baidu_41614347的博客
04-25 1万+
1、string 转 byte[] 1 2 Stringstr="Hello"; byte[]srtbyte=str.getBytes(); 2、byte[] 转 string 1 2 3 byte[]srtbyte; Stringres=newString(srtbyte); System.out.println(res); 切记不能用 String...
Akka边学边写（3）-- ByteString介绍
zxh的专栏
10-16 9799
本文简单介绍一下ByteString的设计和使用
通过String类将String转换成byte[]或者byte[]转换成String
热门推荐
weixin_43237703的博客
06-26 3万+
用String.getBytes()方法将字符串转换为byte数组，通过String构造函数将byte数组转换成String 注意：这种方式使用平台默认字符集 复制代码 package com.bill.example; public class StringByteArrayExamples { public static void main(String[] args) { //Origina...
JAVA开发（byte和string转换类型的坑）
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
02-27 5443
最近真实遇到的问题，所以在此做个总结。byte和string转换类型的坑。因为我要把数据缓存到redis，所以不得不将byte类型数据先转换成string。然后获取数据的时候，又将string类型数据转换成byte。
byte和String的互相转换
绅士jiejie的博客
02-09 9185
byte转String public class TestMain { public static void main(String[] args) throws Exception { Byte a = 36; String b = a.toString(); System.out.println(b);//输出结果:36 } ...
怎么将byte转换为String?
Blue92120的博客
08-29 7647
这里的 "UTF-8" 是字符编码，它告诉Java如何解释字节数组中的字节以构建字符串。在Java中，将字节(byte)数组转换为字符串(String)通常需要指定字符编码，因为字节可以表示各种不同的字符编码，如UTF-8、UTF-16、ISO-8859-1等。如果字节数组中的字节表示的是有效的UTF-8编码的字符序列，通常情况下我们可以安全地使用UTF-8字符编码来将字节数组转换为字符串。请注意，如果我们不确定字节数组中的字节是使用哪种字符编码生成的，那么使用错误的字符编码可能会导致乱码或错误的结果。
C# 中将数值型数据转换为字节数组的方法
12-31
string strValue = “258”;Int16 int16value = 258;MemoryStream doublemem = new MemoryStream();BinaryWriter doublebyteWR = new BinaryWriter(doublemem);doublebyteWR.Write(doublevalue);//doublemem.Close()...
ByteConvert_arduino:Arduino的库，可将变量转换为字节并返回
05-08
该库使您可以将任何数值转换为字节或其他方式，也可以打印字节数组。使用此库时需要考虑的事项使用此库时，需要考虑可变的字节大小，因为如果使用的平台不同，则可能会出现一些错误，因为平台1上的int有4个字节，而...
java开发面试题及答案
03-14
②基本数据类型包括：数值型（byte、short、int、long、float、double），字符型（char）以及布尔型（boolean）。除了基本类型外，其他数据类型都属于引用类型，包括类、接口、数组等。 Q2：float number=3.4;有...
C#与FX5U PLC通信测试
07-19
public string Com_Received(byte[] Buffer, int t, bool br) //写入字符串，16/32 /// /// PLC多位写入函数1（名称，起点，数量，数据） /// /// 名称“D” /// 起点 /// 数量 /// 数据【0】</param> ...
〖程序设计基础〗练习题3及答案
05-30
10.双精度数强制转换成单精度数后，其数值精度会提高。 11. 队列、链表、堆栈和树都是线性数据结构。 12．属性的隐藏是指子类重新定义从父类继承来的同名变量。 13.用static修饰的方法称为静态方法，它不属于类的一...
基于PCF8591芯片AD DA实验例程C51单片机KEIL源码工程文件5个合集.zip
11-16
输入参数：dat 表示需要转换的DA数值，范围是0-255 ------------------------------------------------*/ /*bit WriteDAC(unsigned char dat) { Start_I2c(); //启动总线 SendByte(AddWr); //发送器件地址 if(ack...
c# 加密和解密相关代码
09-06
现在来了解一下使用“异或”加密或解密的执行过程，数值23 转换为二进制为10111，加密数字的数值15 转换为二进制为1111。对比两个二进制的值，从右向左按位对比，如果两个二进制数的相应位都为1 或两个二 进制数的...
VBSCRIPT中文手册
11-12
CByte 函数 返回已被转换为字节子类型的变体的表达式。 CCur 函数 返回已被转换为货币子类型的变体的表达式。 CDate 函数 返回已被转换为日期子类型的变体的表达式。 CDbl 函数 返回已被转换为双精度子类型的变体...
VBSCRIP5 -ASP用法详解
09-23
CByte 函数 返回已被转换为字节子类型的变体的表达式。 CCur 函数 返回已被转换为货币子类型的变体的表达式。 CDate 函数 返回已被转换为日期子类型的变体的表达式。 CDbl 函数 返回已被转换为双精度子类型的变体...
Java字符串转byte数组
最新发布
12-27
Java中字符串转换为byte数组的方法有多种，以下是两种常用的方法： 方法一：使用getBytes()方法 ```java String str = "Hello World"; byte[] byteArray = str.getBytes(); ``` 方法二：使用String的toCharArray()方法和Character的getNumericValue()方法 ```java String str = "Hello World"; char[] charArray = str.toCharArray(); byte[] byteArray = new byte[charArray.length]; for (int i = 0; i < charArray.length; i++) { byteArray[i] = (byte) Character.getNumericValue(charArray[i]); } ``` 这两种方法都可以将字符串转换为对应的byte数组。第一种方法使用了String类的getBytes()方法，该方法将字符串转换为字节数组，使用的是默认的字符编码。第二种方法先将字符串转换为字符数组，然后通过Character类的getNumericValue()方法将每个字符转换为对应的数值，最后将数值转换为byte类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值