大数据存储系统HDFS和对象存储(OOS/S3)的比较

最新推荐文章于 2024-04-25 23:41:35 发布
最新推荐文章于 2024-04-25 23:41:35 发布
阅读量3.8k 收藏 4
点赞数
文章标签： 大数据 hdfs hadoop S3 对象存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxxx000/article/details/130668656
版权

  虽然Apache Hadoop以前都是使用HDFS的，但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的 Hadoop data warehouse 利用这个特性把数据存储在S3上而不是HDFS上。笔者曾经工作经历的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。

1.可扩展性

HDFS 依赖本地的存储只能横向扩展. 增加一个存储区域就意味着不仅要加一个更大的硬盘驱动器来扩充节点，并且还要在集群上面加更多的机器。这是可行的，但是相比S3花费更多并且更加复杂。

S3 能根据存储的数据自动地扩展,根本不需要改变任何东西。甚至可用的空间是几乎无限的（至少对Amazon没有限制）。

S3表现更加优异

2.数据的高可用性

对HDFS数据持久性的统计模型表明，在一个很大的4000个节点的集群（16PB的总存储
250,736,598个block副本）上面，丢失一个block的数据（默认是64MB）的概率是24小时内5.7x10-7，365天内是2.1 x10-4。然而，对于仅仅只含有几十个实例的大多数集群来说，丢失数据的概率要高得多。

S3为每个对象提供99.999999999%的年持久性，意味着每10,000,000年每10,000个对象中只有一个会丢失。(详情见 S3 FAQ). 它甚至可以更好，差不多一年半以前我的一个在Xplenty的大学同学在Amazon使用了AWS workshop.他们的代表声称，在默认的S3存储上（一个便宜的选择是RRS，只有99.99%的持久性）他们实际上没有丢失一个对象

此外大数据集群中的HDFS依赖机器，恢复数据者备份数据都强依赖集群机器。S3存储不依赖集群机器，数据存在另外一套单独的体系中。

S3表现更加优异

3.成本价格

为了确保数据的完整性，HDFS默认存储数据的每个块的三个副本。这意味着需要的HDFS存储空间是实际数据的3倍，并花费相应的成本。虽然数据复制不是必须的，只是存储一个拷贝将消除HDFS的耐久性，并可能导致数据丢失。
亚马逊照顾备份数据S3上的，所以该空间的100％是可用的并且只花费相应的价钱。 S3还支持存储压缩文件，这大大减少了所需以及该法案的空间。

S3表现更加优异

4.性能表现(Performance）

HDFS的表现是非常棒的。数据被存储和运行在提高存取和处理速度相同的机器上面。
不幸的是S3还比不上HDFS。等待时间是明显更高和数据吞吐量较低。然而，Hadoop作业通常是由chains的mapreduce作业和中间数据存储到HDFS和本地文件系统比读写亚马逊S3你能够得到的节点的本地磁盘的吞吐量。
我们最近进行了一些测试，TestDFSIO，一个hadoop的读/写测试程序，在一个有m1.xlarge实例，每个节点有四个短暂的磁盘设备集群上。结果证实，HDFS性能更好。

HDFS on Ephemeral StorageAmazon S3
Read350 mbps/node120 mbps/node
Write200 mbps/node100 mbps/node

HDFS表现更加优异

5.数据权限

有人认为HDFS是不是安全的，但事实并非如此。Hadoop通过Kerberos提供用户身份认证和通过Hadoop的文件系统权限提供了授权。YARN，Hadoop的最新版本，它能做得更好通过一个称为federations的新功能 - 将集群分成几个命名空间防止用户访问一个不属于他们的数据。数据可以通过SSL安全地被上传到Amazon的实例。
S3内置了安全性。它支持用户身份验证，以控制谁可以访问数据，起初只bucket和objects的所有者能做操作。更多的权限可以通过bucket策略和访问控制列表（ACL）授予用户和组。数据可以被加密，并通过SSL安全地上传

HDFS数据权限比S3控制要好

6.其他限制

尽管HDFS可以存储任何大小的文件，它具有存储非常小的文件（它们应该被连接或统一到Hadoop的档案）的问题。此外，保存的某一集群上的数据仅提供给该集群的机器上，并且不能被集群外的实例使用，S3没有这样的限制。在S3上的文件有一些限制，比如单次上传文件限制在5GB内，不支持Parquet或ORC文件直接读写，HDFS支持Parquet或ORC。

HDFS表现更好

太白山鹰
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
湖仓一体存储架构的演进
CDB3399的博客
06-20 267
目录01湖仓一体存储架构的演进1.存储架构的演进阶段2.HDFS 的特征3.对象存储的特征02不同类型存储系统比较1.HDFS的阿喀琉斯之踵-NameNode2.对象存储的阿喀琉斯之踵-元数据3.对象存储元数据性能及API限制03探索湖仓一体架构未来的存储选型1.技术关键点2.JuiceFS04湖仓一体架构在JuiceFS上的实践1.湖仓一体架构2.元数据性能比较3.数据查询性能比较04Q&AQ1: HDFS 不是存算分离架构是不是意味着会被淘汰？Q2: S3 对象存储设计本身有 KV 设计的缺陷，那是不是
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
大数据开发：HDFS数据节点与名称节点的通信机制.docx
Hadoop 集群中使用 S3(对象存储)文件系统
cz124560的博客
06-15 4594
Hadoop 自带 S3 依赖，位置如下： 但是这些依赖包默认不在 hadoop classpath 下面。可以使用以下两种方法引入这两个包： 修改hadoop的core-site.xml文件： s3的配置模板（记得修改成自己的 secret key 与 access key ） 更改完毕并重启集群后 测试hdfs dfs -ls s3a://hive0614/ 等命令操作 S3 中的文件。 目前HDFS Client已经可以看到S3文件了。 如果需要yarn和MapReducer 需要修改如下文件 hdf
论文分享：利用对象存储进行高性能数据分析
beary_tang的博客
02-04 1016
我们的云原生时序分析型数据库研发团队在这篇文章上受益匪浅，论文主要聚焦于如何在对象存储上进行高性能数据分析，其中一些结论为我们的工程实践提供了明确的指导方向。
元数据性能大比拼：HDFS vs OSS vs JuiceFS
JuiceFS的博客
02-09 8731
背景 存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。 其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。 以 Amazon S3 和 Aliyun OSS 为代表的对象存储也是云上大数据平台的候选方案，但它只有 HDFS 的部分功能和语义，性能也差不少，实际使用并不广泛。在这个测试中对象存储以 Aliyun OSS 为代表，其他
主流分布式存储技术的对比分析与应用
jj1130050965的博客
07-18 852
摘 要： 随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。 分布式存储系统，通常包括主控服务器、存储服务器，以及多个客户端组成。其本质是将大量的文件，均匀分布到多个存储服务器上。 当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、Switf等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储
EMR使用OSS还是云盘HDFS存储的选择讨论
weixin_33895516的博客
01-17 1548
前言 由于看中了E-MapReduce（简称EMR）云产品的易用性（易开发、易运维、易集成）、低价、安全、高可用等特性，很多用户会选择把他们的线下的Hadoop集群迁移到EMR上来；也有一些企业，特别是一些初创企业,本身是没有线下集群的，也会选择在云上直接从无到有开发大数据应用。 目前EMR除了支持Hadoop原生的基于本地盘（或云盘）的HDFS，也支持...
Hadoop分布式文件系统（HDFS）和Amazon S3的区别是什么？
zhang9880000的博客
08-27 1243
Hadoop分布式文件系统（HDFS）和Amazon S3的区别
元数据性能大比拼：HDFS vs S3 vs JuiceFS
JuiceFS的博客
11-16 4247
一般我们在看一个系统的性能时，主要关注它的操作时延（单个操作所消耗的时间）和吞吐量（满负载下的处理能力），我们把这两个指标再汇总一下：S3 非常慢，尤其是 Rename 操作，因为它是通过 Copy + Delete 实现的。本文测试的还只是单个空文件的 Rename，而大数据场景常用的是对整个目录的 Rename，差距会更大。JuiceFS 的速度比 HDFS 更快。S3 的吞吐量非常低，和其它两个产品有一到两个数量级的差距，意味着它需要使用更多的计算资源，产生更高的并发，才能获得同等的处理能力。
分布式存储简介
weixin_54104864的博客
05-23 616
它将文件切分成若干块,每块存储为一个文件,这些文件分布在多台存储服务器上,并记录各文件位置信息,使得文件可以被远程访问。FastDFS通过Tracker服务器与Storage服务器构建,Tracker主要负责调度和管理Storage服务器,Storage用于实际文件存储,实现文件存储的扩展和负载均衡。7. AWS S3:亚马逊提供的对象存储服务,高可靠、高扩展,主要用于云存储和备份。9. Ceph:开源分布式存储系统,提供对象、块和文件存储服务,可实现PB级存储。
【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比
weixin_53543905的博客
01-03 1290
虽然 Apache Hadoop 以前都是使用 HDFS 的，但是当 Hadoop 的文件系统的需求产生时候也能使用 S3。之前的工作经历中的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。
大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】
m0_71592416的博客
06-06 1023
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。大数据时代带来了数据规模的爆炸性增长，对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术：Hadoop HDFS和Amazon S3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩展的大数据解决方案。本文还将提供代码实例来说明如何使用这些技术来处理大规模数据集。在当今数字化时代，大数据成为了各个领域的关键驱动力。
揭秘大数据存储基石HDFS-理论篇.pptx_揭秘大数据存储基石HDFS_pptx_
09-29
理论篇揭秘大数据存储基石HDFS-理论篇.pptx
华为大数据认证：HDFS分布式文件系统.pptx
09-24
华为大数据认证，HDFS部分
大数据之HDFS/Hadoop集群管理
06-09
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS适合服务于大规模数据集上的应用。
《大数据导论》HDFS的应用.docx
12-11
《大数据导论》HDFS的应用实验报告，含实验源码。实现功能：读取文件中的数字，进行排序，排序后输出。
2.大数据生态系统之分布式存储HDFS介绍.pdf
02-28
本资料是对星环厂商大数据分布式存储HDFS的介绍及操作。
ElasticSearch复合查寻
最新发布
weixin_53676834的博客
04-25 347
如果子查询比较多，每一个都参与算分，是不是查询性能就会受到影响，而如果你在使用的时候，你用的是filter查询和must not查询，它们是不参与算分的。虽然BooleanQuery复合查询里面有这么四种组合关系，但是除了跟算分相关的，一般就是关键字：用户输入的个关键字，除了用户输入的个关键字以外，剩下的过滤条件都应该放在must_not 或者filter里边，尽可能的减少算分，提高查询的效率。·filter，从字面来看，它也是必须匹配，Must也是必须匹配，确实它俩都是必须匹配，都是”与”的意思。
Elasticsearch单机部署（Linux）
明静致远
04-22 937
本文中Elasticsearch版本为7.12.0，JDK版本为1.8.0，Linux环境部署。（1）查看Elasticsearch对应的常用的jdk版本如下：（详情可看官网的JDK部署(Linux)
大数据实验三hdfs操作方法和基础编程实验的实验结果和结论
05-26
实验三：HDFS操作方法和基础编程实验 1. 实验目的 了解HDFS的基本操作方法和基础编程实验，掌握Hadoop文件系统的操作。 2. 实验环境 - 操作系统：Windows 10 - 虚拟机软件：VMware Workstation 15 Pro - 虚拟机操作系统：CentOS 7 - Hadoop版本：2.7.7 3. 实验步骤 3.1 HDFS操作方法 3.1.1 启动HDFS服务 在CentOS 7中打开终端，输入以下命令启动HDFS服务： ``` start-dfs.sh ``` 3.1.2 创建文件夹 HDFS中的文件夹称为目录，使用以下命令在HDFS中创建一个目录： ``` hadoop fs -mkdir /test ``` 3.1.3 上传文件 使用以下命令将本地文件上传到HDFS中的目录： ``` hadoop fs -put /opt/test.txt /test ``` 3.1.4 下载文件 使用以下命令将HDFS中的文件下载到本地： ``` hadoop fs -get /test/test.txt /opt ``` 3.1.5 查看文件 使用以下命令查看HDFS中的文件： ``` hadoop fs -ls /test ``` 3.1.6 删除文件 使用以下命令删除HDFS中的文件： ``` hadoop fs -rm /test/test.txt ``` 3.2 基础编程实验 3.2.1 实验要求 编程实现一个完整的Hadoop MapReduce程序，实现词频统计功能。 3.2.2 实验步骤 3.2.2.1 编写Mapper类 在Eclipse中新建一个Java项目，创建Mapper类，代码如下： ``` public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } ``` 3.2.2.2 编写Reducer类 创建Reducer类，代码如下： ``` public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } ``` 3.2.2.3 编写Driver类 创建Driver类，代码如下： ``` public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 3.2.2.4 打包 右键项目，选择Export，选择JAR file，点击Next，选择要导出的项目和要导出的类，点击Next，选择要导出的JAR文件路径和文件名，点击Finish，即可生成JAR文件。 3.2.2.5 运行 使用以下命令在Hadoop集群上运行程序： ``` hadoop jar /opt/wordcount.jar WordCount /input /output ``` 其中，/input是输入文件所在的目录，/output是输出文件所在的目录。 4. 实验结果与结论 经过以上步骤，我们可以成功地完成HDFS操作方法和基础编程实验，从而掌握了Hadoop文件系统的操作。同时，我们还通过编写MapReduce程序实现了词频统计功能，进一步加深了对Hadoop的理解和应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值