hadoop上最多到底能放多少个文件?

最新推荐文章于 2022-12-10 09:24:23 发布
最新推荐文章于 2022-12-10 09:24:23 发布
阅读量2k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop

这主要取决于NameNode的内存。因为DFS集群运行时，文件结构会保存在NameNode的内存当中。DFS每个文件信息和 块信息大约都要占150字节。所以如果复制因子为1,每个文件占一个block,  那么16G内存可以存 16 * (2^30) / 300 = 57 m , 即5.7 千万 个文件。



转自：http://coderplay.iteye.com/blog/326981

Tech_Hog
关注
专栏目录
Hadoop DataNode如何将TB级大文件的上传性能优化上百倍
击水三千里的专栏
01-07 789
为什么需要这么多缓冲机制呢？就像漏斗灌水一样，如果漏斗的锥形倾斜度太大的话无法起到有效缓冲的作用，反而影响水流速度
hadoop集群搭建和配置
m0_53876797的博客
05-20 1991
hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）
2021-04-17
Zerorhero的博客
04-17 176
数据来源：拉钩教育大数据高薪开发训练营 Hadoop学习第六部分：限额与归档以及集群安全模式 1）限额 高级命令 HDFS文件限额配置 HDFS文件的限额配置允许我们以文件大小或者文件个数来限制我们在某个目录下上传的文件数量或者文件内容总量，以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量 1.数量限额 hdfs dfs -mkdir -p /user/root/lagou #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 /user/root/lagou # 给该
Hadoop的默认块大小是多少？为什么要设置这么大？
qq_44864865的博客
06-16 3460
默认块大小： Hadoop2.7.2版本及之前默认64MB，Hadoop2.7.3版本及之后默认128M 块大小： HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，而且NameNode需要大量内存来存储元数据，不可取。如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。 如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。块的大小：10m
HDFS目录数及大小设置
u012667450的博客
04-28 3285
HDFS目录数及大小设置 前言 由于时间紧急，本人稍微调研了下，HDFS配置中是有目录文件夹数量限额的，但没有存储空间资源限额。 需求 1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。 2.需要在集群管理上开发项目使用的存储资源限额。比如：一个目录不能超过100G。 调研 针对这两个小需求，去官网找了下hdfs-site.xml的所有属性配置。得到的结论是： 可以设置HDFS目录下文件数量，但不能设置文件的存储大小。 <!--这个属性是设置HD
大数据HDFS凭啥能存下百亿数据？
最新发布
程序员旭阳的专栏
12-10 1652
大家平时经常用的百度网盘存放电影、照片、文档等，那有想过百度网盘是如何存下那么多文件的呢？难到是用一台计算机器存的吗？那得多大磁盘啊？显然不是的，那本文就带大家揭秘。HDFS（Hadoop分布式文件系统。它是核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解决的问题就是海量数据的存储问题。HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。
Hadoop分布式文件系统的文件读写
10-29
1. **Block分裂**：HDFS将大文件划分为多个固定大小的块（默认128MB），每个块最多存储在一个DataNode上。如果文件大小不足一个块，也会创建一个完整的块。 2. **NameNode与DataNode交互**：客户端首先与NameNode...
第一章 Hadoop概述
m0_60411028的博客
04-08 1419
目录 1.1 为什么要用hadoop 1.2 Hadoop的简要介绍 1.3 谷歌的三篇论文 1.4 Hadoop的发展历史 1.5 Hadoop的组成部分 1.6 Hadoop的生态系统 1.1 为什么要用hadoop 一些数据集的大小远远超过1TB，数据的存储是一个要解决的问题。同时硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度（读数据的速度）的提升远远低于硬盘容量额提升 扩展知识：数据大小单位，从小到大分别是：tybe、kb、mb、Gb、Tb、PB、EB、...
Hadoop4个核心配置文件讲解
weixin_38705082的博客
06-26 1973
Hadoop4个核心配置文件core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml配置讲解 1.hdfs-site.xml dfs.replication：设置数据副本的份数 1 dfs.namenode.name.dir：设置namenode目录 /hadoop_data/name dfs.datanode.data.dir ：...
HDFS内容
m0_72816932的博客
10-05 280
HDFS
大数据（一）--Hadoop
wqzghost的专栏
04-13 1010
在10多年前，Google出了3篇paper论述分布式系统的做法，分别是GFS, MapReduce, BigTabl，但是未公开系统的实现。于是，工业界便按照这三篇论文的思想去实现了一些系统，Hadoop便是其中之一。后来，Hadoop得到Yahoo的支持才正式启航，得到了大规模的发展。 之所以Hadoop适合做大数据，有以下几个原因：首先，Hadoop扩展性好。不同于其他大多数系统，为了提高H
HADOOP之HDFS学习
weixin_43238751的博客
10-09 251
HDFS原理以及读写流程 最近从零开始学习大数据，所以也开始学习他的一些框架，这是我所理解的hdfs [ ] 1.HDFS系统架构 2.三个角色 Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写 Namenode 存储： 文件系统的命名空间，文件名称，文件目录结构，文件的属性[权限,创建时间,副本数]; 文件对应哪些数据...
Hadoop Core_HDFS总结（三）——思考问题
weixin_40235225的博客
12-20 204
一、HDFS 为何要讲文件分成 block 块存储？  减少底层操作系统的 IO 读取时的寻址时间方便更高效的流式读取，提高吞吐量 二、HDFS block 块的默认大小时多少？  dfs.blocksize 为 Hadoop 定义 block 块大小的设置参数，在 hdfs-site.xml 中版本不一样，默认值不同。Hadoop2.2.x 及以后版本均为 128M 三、HDFS blo...
HDFS文件系统的基础理论,HDFS工作者和管理者的分配,HDFS文件存储容量的理解
热门推荐
11-05 1万+
1.HDFS的文件系统介绍 HDFS是Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 HDFS使用Master和Slave结构对集群进行管理。 一般一个 HDFS 集群只有一个Namenode 和一定数目的Datanode 组成。 Namenode 是 HDFS 集群主节点...
hadoop存储视频文件
godspeedlaile9的专栏
10-08 6111
视频文件存储： 可以将大文件切片，每一片做MD5值为key，hbase value为hdfs的路径 这样你的文件很好的散列在集群里 采用scan命令查询的时候把小文件合并成大文件 同一个文件的key前缀可以设计成一样的。
Hadoop架构基础知识总结
welson650的博客
04-26 1747
Hadoop架构基础知识总结 一、Hadoop与分布式计算： Hadoop框架遵循分布式计算模型，其将对大数据集的计算分配到一组节点上，每个节点根据数据集的一部分进行计算。 ...
HDFS高级命令-目录下文件大小个数限额
王傲旗的大数据之路
11-05 7581
准备 创建一个文件夹 hadoop fs -mkdir /user/root/lisi 给文件夹下文件数量限额 限制lisi文件夹下只能存放两个文件 hdfs dfsadmin -setQuota 2 lisi 试一下: 再试一下 这是为什么呢? 这是因为我们设置了lisi文件夹下最大的文件数量是2个,lisi文件夹本身也要占一个数量,所以会出现了只能上传一个的错误 ...
Hadoop 2.2.0 完全分布式集群平台安装与配置
包括下载解压hadoop-2.2.0.tar.gz、配置Hadoop的环境变量、编译Hadoop Native包、修改Hadoop的配置文件等多个步骤。 八、Hadoop的运行 在安装Hadoop之后，我们可以开始运行Hadoop了。包括启动Hadoop、查看Hadoop的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值