本文详细介绍了HDFS（Hadoop Distributed File System）的架构，包括NameNode、DataNode的角色，以及文件操作和副本分布策略。讨论了HDFS如何确保数据的可靠性和性能，如通过复制策略保证数据安全，以及读写过程。此外，还涵盖了HDFS的平衡器、block扫描仪等关键组件，旨在帮助理解大数据领域的分布式存储系统。
HDFS主要用于最初由Yahoo提出的分布式文件系统，以下它的主要用途：
1、保存大数据
2、提供快速读取大数据的能力
Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的。在计算逻辑和所需数据接近这一点上，并行计算分区后进行汇总。
对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！
基本模块
- HDFS：分布式文件系统(by Yahoo)
- Mpredues：分布式计算帧(by Google)
- HBCD：分布式、非关系型数据库(by Poerset -＞Microsoft)
- Pig：HDoop的大规模数据分析工具（by Yahoo）
- Hial：将数据库工具、结构化的数据文件复制到数据库表（by Facebook）中
- ZooKeoler：分布式协同服务（by Yahoo）
- Yarn：任务调度和集群资源管理框架
最低0.47元/天 解锁文章
扫一扫
18万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
