理论知识
bigdatahyy
这个作者很懒,什么都没留下…
展开
-
Hadoop----HDFS读取数据的流程
1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。 2、 Client向NameNode发起RPC请求,来确定请求文件block所在的位置; 3、 NameNode会视情况返回文件的部分或者全部block列表,对于每个block,NameNode 都会返回含有该 block 副本的 DataNode 地址; 这些返回的 DN 地址,会按照集群拓扑结构得出 DataNode 与客户端的距离,然后进行排序,排序两个规则:网络拓扑结构中距离 Client 近的排靠前;心跳机制中超时.原创 2020-10-12 20:45:27 · 158 阅读 · 0 评论 -
hadoop hdfs (通俗易懂)
快速掌握hadoop和集群安装1、传统数据与大数据的对比2、大数据服务器安装规范3、传统数据与大数据处理方式对比4、大数据5、Hadoop内部组成6、HDFS全称7、HDFS组成部分8、HDFS存储数据的方式9、数据副本存放机制10、什么是名字空间11、NameNode的作用12、DataNode的作用13、HDFS写入数据的流程14、HDFS读取数据的流程15、数据校验16、DataNode节点丢失周期 1、传统数据与大数据的对比 2、大数据服务器安装规范 系统硬盘 两块硬盘做一个RAID1 引原创 2020-10-09 15:38:32 · 509 阅读 · 0 评论