浅析hadoop写入数据api

最新推荐文章于 2023-10-15 09:36:55 发布

qiuchenl

最新推荐文章于 2023-10-15 09:36:55 发布

阅读量8.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式文件系统

本文链接：https://blog.csdn.net/qiuchenl/article/details/8617990

分布式文件系统专栏收录该内容

15 篇文章

订阅专栏

本文主要探讨了Hadoop中用于写入数据的FSDataOutputStream类，详细介绍了如何通过FileSystem创建实例，包括使用create()和append()方法。在使用append()时需要注意dfs.support.append配置属性，以及早期版本不支持append操作的问题。此外，文章还提醒在获取文件大小时，FileStatus.getLen()在写入过程中可能不准确，建议使用FSDataInputStream的size()方法来获取缓冲区的实时大小。

对于一般文件，都有满足随机读写的api。而hadoop中的读api很简单用FSDataInputStream类就可以满足一般要求，而hadoop中的写操作却是和普通java操作不一样。

hadoop对于写操作提供了一个类：FSDataOutputStream，这个类重载了很多write方法，用于写入很多类型的数据：比如字节数组，long，int，char等等。像FSDataInputStream一样，要获得FSDataOutputStream的实例，必须通过FileSystem该类来和HDFS建立连接，然后通过路径返回FSDataOutputStream实例。FileSystem返回FSDataOutputStream实例的方法有两组：

create(Path p)函数，创建一个空文件，然后可以向该文件顺序写入
append(Path p)函数，打开一个已有文件，并最做文件末尾追加数据

以上两组函数都有多个重载版本，可以查阅手册。FSDataOutputStream不允许在文件中定位（而FSDataInputStream可以），这是因为hadoop只允许在一个已打开文件顺序写入或在文件尾追加数据，不允许在结尾之外其他文件写入数据。

在使用append的操作时可能返回异常dfs.support.append未设置为true，只要才hdfs-site.xml中把该属性设置为true

<property>
  <name>dfs.support.append</name>
  <value>false</value>
  <description>Does HDFS allow appends to files?
               This is currently set to false because there are bugs in the
               "append code" and is not supported in any prodction cluster.
  </description>
</property>

而且0.20的早起版本也不支持append操作，官方文档的建议是如果追加数据就重新create一个文件。使用的时候应该谨慎一点。

当读取文件时若要返回文件的大小，用下列代码：

FileStatus status=hdfs.getFileStatus(p);
			return status.getLen();

但是当对文件写入时，FileStatus的getLen函数返回的不是当前的大小，因为FSDataInputStream在写入数据时，数据会缓存，只有当写入的数据满64M（块大小）时或者关闭文件时，才会把数据写入到文件中去。连续写入数据时，为了实时获取当前文件大小，如果连续关闭打开文件势必会影响效率。可以这样解决：

long result;
if(outFsData!=null){//FSDataInputStream对象实例
result=writeInitSize+outFsData.size()//文件打开时的长度
}
else{
FileStatus status=hdfs.getFileStatus(p);
result=status.getLen();//这个getLen()返回的是int型，最大也就是4G，要注意
}
return result;

FSDataInputStream该类的size函数就是返回的缓冲区写入的数据的大小。