- 博客(2)
- 收藏
- 关注
RSS订阅原创 客户端读写数据时，HDFS内部的处理过程
NameNode记录文件信息和数据块的存储位置信息，并返回最终分配的数据块的ID和一组DataNode节点列表，客户端据此进行数据分块和分配并开始向DataNode写入数据。一旦一个数据块被写满，它将被保存为本地磁盘上的文件。值得注意的是，HDFS使用了数据块的划分和副本机制，提高了系统的可扩展性、可靠性和容错性，并通过NameNode实现了对系统中所有数据块的管理和调度。（3）NameNode接收到所有数据块的准备就绪信息后，将数据块的ID和存储位置信息保存在HDFS元数据中，并更新文件元数据信息。
2023-11-04 18:19:47
43
1
原创 Hadoop相关项目与Google云计算组件之间的对应关系
Google Borg是一个集群资源管理系统，用于管理Google内部的各种服务和应用。Hadoop和Google云计算组件都是大数据处理和存储的解决方案，但它们的设计理念和技术实现有所不同。- Google Dataflow是一个批处理和流处理的统一平台，用于构建、部署和管理大规模的数据处理作业。- Google Bigtable是一个分布式列式数据库，用于存储和管理Google内部的各种数据。- Google文件系统（GFS）是Google内部使用的分布式文件系统，用于存储和管理大量的数据。
2023-11-04 18:17:38
428
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人