HDFS
文章平均质量分 81
霄嵩
这个作者很懒,什么都没留下…
展开
-
Hadoop3.1.2安装文档
目前大数据课程中的Hadoop版本由2.9.2升级到3.1.2,Hadoop 3.1.2的集群搭建过程与2.9.2相比有些不同,其详细安装步骤如下所述。原创 2022-04-24 14:14:48 · 1886 阅读 · 0 评论 -
HDFS新版本的副本存放策略
今年上半年一直忙于云南省公安厅JZ大数据治理平台的项目,已经大半年没有更新技术博客了,这篇博客算是2019年的第一篇吧。 关于HDFS副本存放策略,一直以来总是会听到和看到两种不同的观点。 今天看了Hadoop官网上关于Hadoop2.7.6与Hadoop2.8.4的技术文档,HDFS副本存放策略其实可以分为新旧两种策略。 Hadoop2.7.6及以下版本是按照旧的策略进行副本存放的,官网文...原创 2019-10-17 16:19:32 · 1279 阅读 · 3 评论 -
HDFS架构详解
一、NameNode 1、NameNode是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的 名字空间(namespace)以及客户端对文件的访问。 2、文件操作,NameNode负责文件元数据的操作,DataNode负责处理文件内容的读写请求,跟文件内容相关的数据流不经过NameNode,只会询问它跟哪个DataNode联系,否则NameNode会成为系统的瓶颈。 3原创 2017-04-20 15:33:17 · 398 阅读 · 0 评论 -
使用HDFS FS API的基本操作
1、文件操作 上传本地文件到HDFS 读取文件 在hadoop fs中新建文件,并写入 重命名文件 删除hadoop fs上的文件 2、目录操作 读取某个目录下的所有文件 在hadoop fs上创建目录 删除目录 3、HDFS信息 查找某个文件在HDFS集群的位置 获取HDFS集群上所有节点名称信息原创 2017-04-20 17:43:31 · 373 阅读 · 0 评论 -
一、初始Hadoop之一Hadoop三大组件
一、Hadoop的组件: 1、HDFS 一个高可靠、高吞吐量的分布式文件系统 存储海量数据 分布式 安全性 副本数据 数据是以block的方式进行存储的,128M 比如:200M---128M 72M 2、MapReduce 一个分布式的离线并行计算框架 对海量数据的处理 分布式 思想: 分而治之 大数据集分为小的数据集 每个数据原创 2017-05-09 14:43:03 · 1117 阅读 · 0 评论