BytesWritable使用

BytesWritable不能作为mapreduce中的key或者value,与ByteWritable不同。

1,BytesWritable.tobyte(),将ByteWritable类型的数据转换为十六进制对,并以空格分开;

2,BytesWritable.set(byte[] newData,int offset,int length);//将值设置为给定的字节范围的副本

3,BytesWritable.copyBytes()//获得对象的byte[]类型全部数据

4,BytesWritable.getBytes()

main(){BytesWritable tt =new BytesWritable();
byte t[] = new byte[]{'t','a','g','u'};
tt.set(t, 0, t.length);
System.out.print(tt);}

main(){BytesWritable tt =new BytesWritable();
byte t[] = new byte[]{'t','a','g','u'};
tt.set(t, 0, t.length);
System.out.print(tt.toString());
}

两个输出的结果都为74 61 67 75,是十六进制的流字节,并且用空格隔开,即经过tostring()之后并没有将十进制的数据转换为BytesWritable所对应的字母。

main(){BytesWritable tt =new BytesWritable();
byte t[] = new byte[]{'t','a','g','u'};
tt.set(t,
n,t.length);//(n!=0)
System.out.print(tt);}

error:Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException
at java.lang.System.arraycopy(Native Method)
at org.apache.hadoop.io.BytesWritable.set(BytesWritable.java:172)
at cug.TestOrdinary.main(TestOrdinary.java:13)

报错原因是byte[]数组越界,将其改为tt.set(t,n,t.length-n);即可以输出第t位的所有byte数。

对于这道题目,首先需要了解一下 SequenceFile 的基本概念和用法。 SequenceFile 是 Hadoop 中的一种文件格式,它是一种二进制格式,可以存储键值对。SequenceFile 可以被用来作为 MapReduce 任务的输入和输出格式,也可以用于 HDFS 上的任何应用程序。 在这道题目中,我们需要将多个小文件存储到一个 SequenceFile 中,然后再从 SequenceFile 中读取出所有的图片。下面是实现这个功能的代码: ``` import java.io.File; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.BytesWritable; import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Text; public class SequenceFileDemo { public static void main(String[] args) throws IOException { String inputPath = "/input"; // 输入文件夹路径 String outputPath = "/output/sequencefile.seq"; // 输出 SequenceFile 路径 // 创建 Configuration 对象 Configuration conf = new Configuration(); // 创建 FileSystem 对象 FileSystem fs = FileSystem.get(URI.create(outputPath), conf); // 创建 SequenceFile.Writer 对象 Path outputFilePath = new Path(outputPath); SequenceFile.Writer writer = SequenceFile.createWriter( fs, conf, outputFilePath, Text.class, BytesWritable.class); // 遍历输入文件夹中的所有文件,并写入 SequenceFile File inputFolder = new File(inputPath); for (File file : inputFolder.listFiles()) { if (file.isFile()) { String fileName = file.getName(); byte[] fileContent = Files.readAllBytes(file.toPath()); Text key = new Text(fileName); BytesWritable value = new BytesWritable(fileContent); writer.append(key, value); } } // 关闭 SequenceFile.Writer 对象 writer.close(); // 创建 SequenceFile.Reader 对象 SequenceFile.Reader reader = new SequenceFile.Reader( fs, outputFilePath, conf); // 读取 SequenceFile 中的所有图片,并输出到控制台 Text key = new Text(); BytesWritable value = new BytesWritable(); while (reader.next(key, value)) { byte[] fileContent = value.getBytes(); System.out.println("FileName: " + key.toString()); System.out.println("FileSize: " + fileContent.length); // 此处可以将文件内容写入本地文件或者进行其他操作 } // 关闭 SequenceFile.Reader 对象 reader.close(); } } ``` 在上面的代码中,我们使用了 SequenceFile.Writer 来写入 SequenceFile,使用了 SequenceFile.Reader 来读取 SequenceFile。在写入 SequenceFile 时,我们遍历了输入文件夹中的所有文件,并将每个文件的文件名和文件内容写入 SequenceFile 中。在读取 SequenceFile 时,我们使用了 SequenceFile.Reader.next() 方法来逐个读取 SequenceFile 中的键值对,并将每个图片的文件名和文件大小输出到控制台。 注意,上面的代码中需要引入一些 Hadoop 的相关依赖,例如 hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core 等。因此,在使用 Maven 构建项目时需要添加这些依赖。 最后,将程序源文件压缩成 rar 格式,并上传到指定位置即可。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值