hadoop-HDFS数据读写及存储

最新推荐文章于 2024-08-04 17:45:04 发布

高清靓仔

最新推荐文章于 2024-08-04 17:45:04 发布

阅读量283

点赞数

分类专栏：大数据基础文章标签： hadoop

本文链接：https://blog.csdn.net/ldc2013/article/details/119278079

版权

本文详细介绍了Hadoop HDFS的读数据和写数据流程。在读取时，数据按块顺序读取；写入时，客户端首先通过NameNode找到DataNode，建立一个通信管道并将数据以Block形式逐级传输到各副本节点。Block的默认大小为128MB，DataNode的选择考虑了距离和副本分布策略，确保数据的安全性和效率。

摘要由CSDN通过智能技术生成

读数据流程

第一个块读完，再读第二个块

读数据流程：1.创建文件对象

2.利用文件对象创建输入流

3.关闭资源

public class HDFSClient {
    FileSystem fs = null;
    @Before
    public void before() throws URISyntaxException, IOException, InterruptedException {
        //创建连接对象
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        fs = FileSystem.get(new URI("hdfs://hadoop102:9820"),
                configuration,"atguigu");
    }

    @After
    public void after() throws IOExce