HDFS高级--数据存储与管理

已于 2023-07-07 11:37:33 修改
阅读量1k 收藏
点赞数 2
分类专栏： hadoop 文章标签： hdfs restful hadoop
于 2022-11-10 19:04:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46439199/article/details/127794412
版权

文章目录

1 HDFS数据存储与数据管理

1.1 HDFS REST HTTP API

我们之前所学习的HDFS shell客户端和Java客户端，都客户端上安装了HDFS客户端。之前我们在windows上也配置了HDFS的windows版本客户端，否则，我们将无法操作HDFS。而且，客户端的版本如果不匹配，有可能会导致无法操作。接下来，我们将学习几种基于HTTP协议的客户端，HTTP是跨平台的，它不要求客户端上必须安装Hadoop，就可以直接操作HDFS。

1.1.1 WebHDFS

概述：WebHDFS其实是HDFS提供的HTTP RESTFul API接口，并且它是独立于Hadoop的版本的，它支持HDFS的完整FileSystem / FileContext接口。它可以让客户端发送http请求的方式来操作HDFS，而无需安装Hadoop。

在我们经常使用的HDFS Web UI，它就是基于webhdfs来操作HDFS的。

1.1.2 关于RESTful
1.1.2.1 REST
  • REST（表现层状态转换，英语：Representational State Transfer）是Roy Thomas Fielding博士于2000年在博士论文中提出来的一种万维网软件架构风格，目的是便于不同软件/程序在网络（例如互联网）中互相传递信息。
  • REST是基于超文本传输协议（HTTP）之上而确定的一组约束和属性，是一种设计提供万维网络服务的软件构建风格。符合或兼容于这种架构风格（简称为 REST 或 RESTful）的网络服务，允许客户端发出以统一资源标识符访问和操作网络资源的请求，而与预先定义好的无状态操作集一致化。
  • 因此REST提供了在互联网络的计算系统之间，彼此资源可交互使用的协作性质（interoperability）。相对于其它种类的网络服务，例如SOAP服务，则是以本身所定义的操作集，来访问网络上的资源。
  • 目前在三种主流的Web服务实现方案中，因为REST模式与复杂的SOAP和XML-RPC相比更加简洁，越来越多的Web服务开始采用REST风格设计和实现。例如，Amazon.com提供接近REST风格的Web服务运行图书查询；雅虎提供的Web服务也是REST风格的。
  • 需要注意的是，REST是设计风格而不是标准。REST通常基于HTTP、URI、XML以及HTML这些现有的广泛流行的协议和标准。
    • 资源是由URI来指定。
    • 对资源的操作包括获取、创建、修改和删除，这些操作正好对应HTTP协议提供的GET、POST、PUT和DELETE方法。
    • 通过操作资源的表现形式来操作资源。
    • 资源的表现形式则是XML或者HTML，取决于读者是机器还是人、是消费Web服务的客户软件还是Web浏览器。当然也可以是任何其他的格式，例如JSON。
1.1.2.2 RESTFul API

概述：符合REST设计风格的Web API称为RESTful API。它从以下三个方面资源进行定义：

  • 直观简短的资源地址：URI，比如：http://example.com/resources
  • 传输的资源：Web服务接受与返回的互联网媒体类型，比如：JSON，XML，YAML等
  • 对资源的操作：Web服务在该资源上所支持的一系列请求方法（比如：POST，GET，PUT或DELETE）。
资源GETPUTPOSTDELETE
一组资源的URI，比如 https://example.com/resources列出URI，以及该资源组中每个资源的详细信息。使用给定的一组资源替换当前整组资源。在本组资源中创建/追加一个新的资源。该操作往往返回新资源的URL。删除整组资源。
单个资源的URI，比如https://example.com/resources/142获取指定的资源的详细信息，格式可以自选一个合适的网络媒体类型（比如：XML、JSON等）替换/创建指定的资源。并将其追加到相应的资源组中。把指定的资源当做一个资源组，并在其下创建/追加一个新的元素，使其隶属于当前资源。删除指定的元素。
  • PUT和DELETE方法是幂等方法
  • GET方法是安全方法（不会对服务器端有修改，因此当然也是幂等的）

PUT请求类型和POST请求类型的区别：

  • PUT和POST均可用于创建或者更新某个资源（例如：添加一个用户、添加一个文件），用哪种请求方式取决我们自己。
  • 我们主要使用是否需要有幂等性来判断到底用PUT、还是POST。PUT是幂等的，也就是将一个对象进行两次PUT操作，是不会起作用的。而如果使用POST，会同时收到两个请求。
1.1.3 HDFS HTTP RESTFUL API

HDFS HTTP RESTFUL API它支持以下操作：

HTTP GET：

  • OPEN (等同于FileSystem.open)
  • GETFILESTATUS (等同于FileSystem.getFileStatus)
  • LISTSTATUS (等同于FileSystem.listStatus)
  • LISTSTATUS_BATCH (等同于FileSystem.listStatusIterator)
  • GETCONTENTSUMMARY (等同于FileSystem.getContentSummary)
  • GETQUOTAUSAGE (等同于FileSystem.getQuotaUsage)
  • GETFILECHECKSUM (等同于FileSystem.getFileChecksum)
  • GETHOMEDIRECTORY (等同于FileSystem.getHomeDirectory)
  • GETDELEGATIONTOKEN (等同于FileSystem.getDelegationToken)
  • GETTRASHROOT (等同于FileSystem.getTrashRoot)
  • GETXATTRS (等同于FileSystem.getXAttr)
  • GETXATTRS (等同于FileSystem.getXAttrs)
  • GETXATTRS (等同于FileSystem.getXAttrs)
  • LISTXATTRS (等同于FileSystem.listXAttrs)
  • CHECKACCESS (等同于FileSystem.access)
  • GETALLSTORAGEPOLICY (等同于FileSystem.getAllStoragePolicies)
  • GETSTORAGEPOLICY (等同于FileSystem.getStoragePolicy)
  • GETSNAPSHOTDIFF
  • GETSNAPSHOTTABLEDIRECTORYLIST
  • GETECPOLICY (等同于HDFSErasureCoding.getErasureCodingPolicy)
  • GETFILEBLOCKLOCATIONS (等同于FileSystem.getFileBlockLocations)

HTTP PUT：

  • CREATE (等同于FileSystem.create)
  • MKDIRS (等同于FileSystem.mkdirs)
  • CREATESYMLINK (等同于FileContext.createSymlink)
  • RENAME (等同于FileSystem.rename)
  • SETREPLICATION (等同于FileSystem.setReplication)
  • SETOWNER (等同于FileSystem.setOwner)
  • SETPERMISSION (等同于FileSystem.setPermission)
  • SETTIMES (等同于FileSystem.setTimes)
  • RENEWDELEGATIONTOKEN (等同于DelegationTokenAuthenticator.renewDelegationToken)
  • CANCELDELEGATIONTOKEN (等同于DelegationTokenAuthenticator.cancelDelegationToken)
  • CREATESNAPSHOT (等同于FileSystem.createSnapshot)
  • RENAMESNAPSHOT (等同于FileSystem.renameSnapshot)
  • SETXATTR (等同于FileSystem.setXAttr)
  • REMOVEXATTR (等同于FileSystem.removeXAttr)
  • SETSTORAGEPOLICY (等同于FileSystem.setStoragePolicy)
  • ENABLEECPOLICY (等同于HDFSErasureCoding.enablePolicy)
  • DISABLEECPOLICY (等同于HDFSErasureCoding.disablePolicy)
  • SETECPOLICY (等同于HDFSErasureCoding.setErasureCodingPolicy)

HTTP POST：

  • APPEND (等同于FileSystem.append)
  • CONCAT (等同于FileSystem.concat)
  • TRUNCATE (等同于FileSystem.truncate)
  • UNSETSTORAGEPOLICY (等同于FileSystem.unsetStoragePolicy)
  • UNSETECPOLICY (等同于HDFSErasureCoding.unsetErasureCodingPolicy)

HTTP DELETE：

  • DELETE (等同于FileSystem.delete)
  • DELETESNAPSHOT (等同于FileSystem.deleteSnapshot)
1.1.4 文件系统URL和HTTP URL

WebHDFS的文件系统schema是webhdfs://。WebHDFS文件系统URL具有以下格式。

webhdfs://<HOST>:<HTTP_PORT>/<PATH>

上面的WebHDFS URL对应于下面的HDFS URL。

hdfs://<HOST>:<RPC_PORT>/<PATH>

在RESTAPI中，在路径中插入前缀“/webhdfs/v1”，并在末尾追加一个查询。因此，对应的HTTPURL具有以下格式。

http://<HOST>:<HTTP_PORT>/webhdfs/v1/<PATH>?op=...

请求URL：http://node1.itcast.cn:9870/webhdfs/v1/?op=LISTSTATUS

该操作表示要查看根目录下的所有文件以及目录，相当于 hdfs dfs -ls /

1.1.5 webHDFS创建文件

在/data/hdfs-test目录中创建一个名字为webhdfs_api.txt文件，并写入内容。

创建一个请求，设置请求方式为PUT，请求url为：

http://node1.itcast.cn:9870/webhdfs/v1/data/hdfs-test/webhdfs_api.txt?op=CREATE&overwrite=true&replication=2&noredirect=true

HTTP会响应一个用于上传数据的URL链接。

  • 提交HTTP PUT请求，而不会自动跟随重定向，也不会发送文件数据。
  • 通常，请求被重定向到要写入文件数据的DataNode。
  • 如果不希望自动重定向，则可以设置noredirected标志。
1.1.6 webHDFS写入数据

使用Location标头中的URL提交另一个HTTP PUT请求（如果指定了noredirect，则返回返回的响应），并写入要写入的文件数据。

curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE..."
  • LOCAL_FILE 为本地文件地址
  • PATH为创建文件放回的URL链接
1.2 HttpFS

概述：

  • HttpHDFS本质上和WebHDFS是一样的，都是提供HTTP REST API功能，但它们的区别是HttpHDFS是HttpFS，是一个独立于HadoopNameNode的服务，它本身就是Java JettyWeb应用程序。
  • 因为是可以独立部署的，所以可以对HttpHDFS设置防火墙，而避免NameNode暴露在墙外，对一些安全性要求比较高的系统，HttpHDFS会更好些。
  • HttpFS是一种服务器，它提供REST HTTP网关，支持所有HDFS文件系统操作(读和写)。并且它可以与WebhdfsREST HTTPAPI
  • HttpFS可用于在运行不同版本Hadoop(克服RPC版本控制问题)的集群之间传输数据，例如使用HadoopDiscreCP。
  • HttpFS可用于在防火墙后面的集群上访问HDFS中的数据(HttpFS服务器充当网关，是允许跨越防火墙进入集群的唯一系统)。
  • HttpFS可以使用HTTP实用程序(例如curl和wget)和来自Java以外的其他语言的HTTP库Perl来访问HDFS中的数据。
  • 这个Webhdfs客户端文件系统实现可以使用Hadoop文件系统命令访问HttpFS(hdfsdfs)行工具以及使用Hadoop文件系统JavaAPI的Java应用程序。
  • HttpFS内置了支持Hadoop伪身份验证和HTTP、SPNEGOKerberos和其他可插拔身份验证机制的安全性。它还提供Hadoop代理用户支持。

操作方式：

  • HttpFS是一个独立于HadoopNameNode的服务。
  • HttpFS本身就是Java JettyWeb应用程序。
  • HttpFS HTTP Web服务API调用是HTTPREST调用，映射到HDFS文件系统操作。例如，使用curl/Unix命令：
$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo/README.txt?op=OPEN&user.name=foo’
返回HDFS的内容/user/foo/README.txt档案。

$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo?op=LISTSTATUS&user.name=foo’
返回HDFS的内容/user/foo目录中的JSON格式。

$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo?op=GETTRASHROOT&user.name=foo’
返回路径/user/foo/.trash，如果/是加密区域，则返回路径。/.Trash/Foo。看见更多细节关于加密区域中的垃圾路径。

$curl -X POST‘http://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=MKDIRS&user.name=foo’
创建HDFS/user/foo/bar目录。
  • HttpFS默认端口号为14000
1.2.1 配置Hadoop-HttpFS

1 编辑Hadoop的core-site.xml，并将运行HttpFS服务器的Unix用户定义为proxyuser。例如：

 <property>
    <name>hadoop.proxyuser.#HTTPFSUSER#.hosts</name>
    <value>httpfs-host.foo.com</value>
  </property>
  <property>
    <name>hadoop.proxyuser.#HTTPFSUSER#.groups</name>
    <value>*</value>
  </property>

2 重要：替换#HTTPFSUSER#使用将启动HttpFS服务器的Unix用户。
例如：

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

3 重启Hadoop

4 启动HttpFS

hdfs --daemon start httpfs

5 测试HttpFS工作

http://node1.itcast.cn:14000/webhdfs/v1?user.name=root&op=LISTSTATUS
1.2.2 WebHDFS和HttpFS之间区别

webHDFS

  • HDFS内置、默认开启
  • 基于REST的HDFS API
  • 重定向到资源所在的datanode
  • 客户端会和nn、dn交互

httpFS

  • 独立服务，手动开启
  • 基于REST的HDFS API
  • 数据先传输到该httpfs server，再由其传输到client
  • 客户端不跟hdfs直接交互

2 Hadoop常用文件存储格式

概述：

  • 文件格式是定义数据文件系统中存储的一种方式，可以在文件中存储各种数据结构，特别是Row、Map，数组以及字符串，数字等。

  • 在Hadoop中，没有默认的文件格式，格式的选择取决于其用途。而选择一种优秀、适合的数据存储格式是非常重要的。

  • 后续我们要学习的，使用HDFS的应用程序（例如MapReduce或Spark）性能中的最大问题、瓶颈是在特定位置查找数据的时间和写入到另一个位置的时间，而且管理大量数据的处理和存储也很复杂（例如：数据的格式会不断变化，原来一行有12列，后面要存储20列）。

  • Hadoop文件格式发展了好一段时间，这些文件存储格式可以解决大部分问题。我们在开发大数据中，选择合适的文件格式可能会带来一些明显的好处：

    • 可以保证写入的速度
    • 可以保证读取的速度
    • 文件是可被切分的
    • 对压缩支持友好
    • 支持schema的更改

  • 某些文件格式是为通用设计的（如MapReduce或Spark），而其他文件则是针对更特定的场景，有些在设计时考虑了特定的数据特征。因此，确实有很多选择。

  • 每种格式都有优点和缺点，数据处理的不同阶段可以使用不同的格式才会更有效率。通过选择一种格式，最大程度地发挥该存储格式的优势，最小化劣势。

2.1 行式存储、列式存储

行式存储（Row-Based）：同一行数据存储在一起。

列式存储（Column-Based）：同一列数据存储在一起。
在这里插入图片描述

优缺点：

  • 行存储的写入是一次性完成，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略;数量大可能会影响到数据的处理效率。行适合插入、不适合查询。
  • 列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域，比如互联网，犹为重要。列适合查询，不适合插入。
2.2 Hadoop的文件类型
2.2.1 Text File
  • 文本格式是Hadoop生态系统内部和外部的最常见格式。通常按行存储，以回车换行符区分不同行数据。
  • 最大缺点是，它不支持块级别压缩，因此在进行压缩时会带来较高的读取成本。
  • 解析开销一般会比二进制格式高，尤其是XML 和JSON，它们的解析开销比Textfile还要大。
  • 易读性好。
  • 常见类型有：txt、xml、csv、json等
2.2.2 Sequence File
  • Sequence File，每条数据记录（record）都是以key、value键值对进行序列化存储（二进制格式）。
  • 序列化文件与文本文件相比更紧凑，支持record级、block块级压缩。压缩的同时支持文件切分。
  • 通常把Sequence file作为中间数据存储格式。例如：将大量小文件合并放入到一个Sequence File中。
  • record就是一个kv键值对。其中数据保存在value中。可以选择是否针对value进行压缩。
  • block就是多个record的集合。block级别压缩性能更好。

在这里插入图片描述

2.2.3 Avro File
  • Apache Avro是与语言无关的序列化系统，由Hadoop创始人 Doug Cutting开发
  • Avro是基于行的存储格式，它在每个文件中都包含JSON格式的schema定义，从而提高了互操作性并允许schema的变化（删除列、添加列）。除了支持可切分以外，还支持块压缩。
  • Avro是一种自描述格式，它将数据的schema直接编码存储在文件中，可以用来存储复杂结构的数据。
  • Avro直接将一行数据序列化在一个block中.
  • 适合于大量频繁写入宽表数据（字段多列多）的场景，其序列化反序列化很快。

在这里插入图片描述

2.2.4 RCFile
  • Hive Record Columnar File（记录列文件），这种类型的文件首先将数据按行划分为行组，然后在行组内部将数据存储在列中。很适合在数仓中执行分析。且支持压缩、切分
  • 但不支持schema扩展，如果要添加新的列，则必须重写文件，这会降低操作效率。

在这里插入图片描述

2.2.5 ORC File
  • ORC File（Optimized Row Columnar）提供了比RC File更有效的文件格式。它在内部将数据划分为默认大小为250M的Stripe。每个条带均包含索引，数据和页脚。索引存储每列的最大值和最小值以及列中每一行的位置。
  • 它并不是一个单纯的列式存储格式，仍然是首先根据Stripe分割整个表，在每一个Stripe内进行按列存储。
  • ORC有多种文件压缩方式，并且有着很高的压缩比。文件是可切分（Split）的。
  • ORC文件是以二进制方式存储的，所以是不可以直接读取。

在这里插入图片描述

2.2.6 Parquet File
  • Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。
  • Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。
  • 支持块压缩。

结构：

  • Parquet 的存储模型主要由行组（Row Group）、列块（Column Chuck）、页（Page）组成。
  • 在水平方向上将数据划分为行组，默认行组大小与HDFS Block 块大小对齐，Parquet 保证一个行组会被一个 Mapper 处理。行组中每一列保存在一个列块中，一个列块具有相同的数据类型，不同的列块可以使用不同的压缩。Parquet 是页存储方式，每一个列块包含多个页，一个页是最小的编码的单位，同一列块的不同页可以使用不同的编码方式。
  • 文件的首位都是该文件的Magic Code，用于校验它是否是一个Parquet文件。

在这里插入图片描述

2.2.7 Apache Arrow

概述：

  • Apache Arrow是一个跨语言平台，是一种列式内存数据结构，主要用于构建数据系统。

  • Apache Arrow在2016年2月17日作为顶级Apache项目引入。

  • 在这里插入图片描述

  • Arrow促进了许多组件之间的通信。

  • 极大的缩减了通信时候序列化、反序列化所浪费的时间。

在这里插入图片描述

性能提高：

  • 利用Arrow作为内存中数据表示的两个过程可以将数据从一种方法“重定向”到另一种方法，而无需序列化或反序列化。例如，Spark可以使用Python进程发送Arrow数据来执行用户定义的函数。
  • 无需进行反序列化，可以直接从启用了Arrow的数据存储系统中接收Arrow数据。 例如，Kudu可以将Arrow数据直接发送到Impala进行分析。
  • Arrow的设计针对嵌套结构化数据（例如在Impala或Spark Data框架中）的分析性能进行了优化。

3 Hadoop文件压缩

压缩算法优劣指标：

  • 压缩比：原先占100份空间的东西经压缩之后变成了占20份空间，那么压缩比就是5，显然压缩比越高越好。
  • 压缩/解压缩吞吐量（时间）：每秒能压缩或解压缩多少MB的数据。吞吐量也是越高越好。
  • 压缩算法实现是否简单、开源
  • 是否为无损压缩。恢复效果要好。
  • 压缩后的文件是否支持split（切分）
3.1 hadoop支持的文件压缩对比
压缩格式工具算法文件扩展名是否可切分对应的编码解码器
DEFLATE无DEFLATE.deflate否org.apache.hadoop.io.compress.DefaultCodec
Gzipgzipgzip.gz否org.apache.hadoop.io.compress.GzipCodec
bzip2bzip2bzip2.bz2是org.apache.hadoop.io.compress.BZip2Codec
LZOlzopLZO.lzo是（切分点索引）com.hadoop.compression.lzo.LzopCodec
LZ4无LZ4.lz4否org.apache.hadoop.io.compress.Lz4Codec
Snappy无Snappy.snappy否org.apache.hadoop.io.compress.SnappyCodec
  • 压缩比

在这里插入图片描述

  • 压缩、解压缩时间

在这里插入图片描述

使用原则：

  • 压缩的合理使用可以提高HDFS存储效率
  • 压缩解压缩意味着CPU、内存需要参与编码解码
  • 选择压缩算法时不能一味追求某一指标极致。综合考虑性价比较高的。
  • 文件的压缩解压需要程序或者工具的参与来对数据进行处理。大数据相关处理软件都支持直接设置。

4 HDFS异构存储和存储策略

4.1 HDFS异构存储类型

冷、热、温、冻数据

​ 通常，公司或者组织总是有相当多的历史数据占用昂贵的存储空间。典型的数据使用模式是新传入的数据被应用程序大量使用，从而该数据被标记为"热"数据。随着时间的推移，存储的数据每周被访问几次，而不是一天几次，这时认为其是"暖"数据。在接下来的几周和几个月中，数据使用率下降得更多，成为"冷"数据。如果很少使用数据，例如每年查询一次或两次，这时甚至可以根据其年龄创建第四个数据分类，并将这组很少被查询的旧数据称为"冻结数据"。

Hadoop允许将不是热数据或者活跃数据的数据分配到比较便宜的存储上，用于归档或冷存储。可以设置存储策略，将较旧的数据从昂贵的高性能存储上转移到性价比较低(较便宜)的存储设备上。

Hadoop 2.5及以上版本都支持存储策略，在该策略下，不仅可以在默认的传统磁盘上存储HDFS数据，还可以在SSD(固态硬盘)上存储数据。

异构存储概述：

  • 异构存储是Hadoop2.6.0版本出现的新特性,可以根据各个存储介质读写特性不同进行选择。
  • 例如冷热数据的存储，对冷数据采取容量大，读写性能不高的存储介质如机械硬盘，对于热数据，可使用SSD硬盘存储。
  • 在读写效率上性能差距大。异构特性允许我们对不同文件选择不同的存储介质进行保存，以实现机器性能的最大化。

HDFS中声明定义了4种异构存储类型：

  • RAM_DISK(内存)
  • SSD(固态硬盘)
  • DISK(机械硬盘)，默认使用。
  • ARCHIVE(高密度存储介质，存储档案历史数据)

问：如何让HDFS知道集群中的数据存储目录是哪种类型存储介质？

答：配置属性时主动声明。HDFS并没有自动检测的能力。

配置参数dfs.datanode.data.dir = [SSD]file:///grid/dn/ssdO

如果目录前没有带上［SSD] [DISK] [ARCHIVE] [RAM_DISK］ 这4种类型中的任何一种，则默认是DISK类型 。

4.2 块存储类型选择策略

概述：

  • 块存储指的是对HDFS文件的数据块副本储存。
  • 对于数据的存储介质，HDFS的BlockStoragePolicySuite类内部定义了6种策略。
    • HOT（默认策略）：用于存储和计算。流行且仍用于处理的数据将保留在此策略中。所有副本都存储在DISK中。
    • COLD：仅适用于计算量有限的存储。不再使用的数据或需要归档的数据从热存储移动到冷存储。所有副本都存储在ARCHIVE中。
    • WARM：部分热和部分冷。热时，其某些副本存储在DISK中，其余副本存储在ARCHIVE中。
    • ALL_SSD：将所有副本存储在SSD中。
    • ONE_SSD：用于将副本之一存储在SSD中。其余副本存储在DISK中。
    • LAZY_PERSIST：用于在内存中写入具有单个副本的块。首先将副本写入RAM_DISK，然后将其延迟保存在DISK中。
  • 前三种根据冷热数据区分，后三种根据磁盘性质区分。

在这里插入图片描述

4.3 块存储类型选择策略–命令

  • 列出所有存储策略
hdfs storagepolicies -listPolicies
  • 设置存储策略
hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>
  • 取消存储策略
hdfs storagepolicies -unsetStoragePolicy -path <path>

在执行unset命令之后，将应用当前目录最近的祖先存储策略，如果没有任何祖先的策略，则将应用默认的存储策略。

  • 获取存储策略
hdfs storagepolicies -getStoragePolicy -path <path>
4.3 HDFS内存存储策略支持

LAZY PERSIST介绍：

  • HDFS支持把数据写入由DataNode管理的堆外内存；
  • DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入称为 Lazy Persist写入。
  • 该特性从Apache Hadoop 2.6.0开始支持。

LAZY PERSIST执行流程：

  • 对目标文件目录设置 StoragePolicy 为 LAZY_PERSIST 的内存存储策略 。
  • 客户端进程向 NameNode 发起创建／写文件的请求 。
  • 客户端请求到具体的 DataNode 后 DataNode 会把这些数据块写入 RAM 内存中，同时启动异步线程服务将内存数据持久化写到磁盘上。
  • 内存的异步持久化存储是指数据不是马上落盘，而是懒惰的、延时地进行处理。

LAZY PERSIST设置使用：

  • Step1：虚拟内存盘配置
mount -t tmpfs -o size=1g tmpfs /mnt/dn-tmpfs/

将tmpfs挂载到目录/mnt/dn-tmpfs/，并且限制内存使用大小为1GB 。

  • Step2：内存存储介质设置

将机器中已经完成好的虚拟内存盘配置到dfs.datanode.data.dir 中，其次还要带上 RAM_DISK 标签.

在这里插入图片描述

  • Step3：参数设置优化

dfs.storage.policy.enabled

是否开启异构存储，默认true开启

dfs.datanode.max.locked.memory

用于在数据节点上的内存中缓存块副本的内存量（以字节为单位）。默认情况下，此参数设置为0，这将禁用 内存中缓存。内存值过小会导致内存中的总的可存储的数据块变少，但如果超过 DataNode 能承受的最大内 存大小的话，部分内存块会被直接移出 。

  • Step4：在目录上设置存储策略
hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_PERSIST

mnt/dn-tmpfs/，并且限制内存使用大小为1GB 。

  • Step2：内存存储介质设置

将机器中已经完成好的虚拟内存盘配置到dfs.datanode.data.dir 中，其次还要带上 RAM_DISK 标签.

[外链图片转存中…(img-gJq9FwH8-1668077793343)]

  • Step3：参数设置优化

dfs.storage.policy.enabled

是否开启异构存储，默认true开启

dfs.datanode.max.locked.memory

用于在数据节点上的内存中缓存块副本的内存量（以字节为单位）。默认情况下，此参数设置为0，这将禁用 内存中缓存。内存值过小会导致内存中的总的可存储的数据块变少，但如果超过 DataNode 能承受的最大内 存大小的话，部分内存块会被直接移出 。

  • Step4：在目录上设置存储策略
hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_PERSIST
Evan2OO1
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2、HDFS操作 - shell客户端
05-29
在大数据处理领域，Hadoop Distributed File System (HDFS) 是一个关键组件，它提供高容错性和可扩展性的分布式存储。对于HDFS的管理，`shell客户端`是开发者和管理员常用的工具，它允许用户通过命令行接口执行各种...
HDFS存储原理（存储原理、fsck命令、namenode元数据、读写流程）
2202_75347029的博客
07-24 1483
edits文件，是一个流水账文件，记录hdfs中的每一次操作，以及本次操作影响的文件及其对应的block。但是edits文件检索有一个问题：当用户想要查看某文件内容，如/tmp/data/test.txt，就需要在全部的edits中搜索（还需要按顺序从头到尾，避免后期改名或者删除效率非常低）。这个属性默认是3，一般情况下，无需主动配置（除非需要设置非3的数值），如果需要自定义，需要将三台机器文件配置文件都修改。在遇到多个大小不等的文件需要存储时，由于文件大小不同，所分出的部分的大小也不相同。
HDFS(数据存储)
weixin_51699336的博客
06-11 1万+
NameNode启动后将元信息加载到内存，磁盘文件名为fsimage，快的位置信息不会保存到fsimage，而由DataNode启动时主动上报给NameNode，edit记录操作日志 一个集群中有且只有一台NameNode处于active状态 3.SecondNameNode SecondNameNode是NameNode的备份，但主要任务是合并NameNode的fsimage和edit logs，减少NameNode启动时间 SNN的合并时机可以通过配置文件设置的时间间隔(fs.checkpoint.
HDFS分布式文件存储系统
最新发布
Ashenlex的博客
04-22 1444
按块（block）存储hdfs在对文件数据进行存储时，默认是按照128M(包含)大小进行文件数据拆分，将不同拆分的块数据存储在不同datanode服务器上拆分后的块数据会被分别存储在不同的服务器上副本机制为了保证hdfs的数据的安全性，避免数据的丢失，hdfs对每个块数据进行备份，默认情况下块数据会存储3份，叫做3副本副本块是存在不同的服务器上默认存储策略由类支持。也就是日常生活中提到最经典的3副本策略。
HDFS（Hadoop Distributed File System）- 存储数据
weixin_43356218的博客
11-05 438
1.HDFS架构图 2.基本概念 1.HDFS ：Hadoop Distributed File System。Hadoop的分布式文件系统。是基于《Google File System》做的开源实现。 2.HDFS的作用是存储海量数据。因为HDFS是一个分布式架构，可以无限扩展节点来存储数据 3.HDFS存储文件的特点是 ：块存储 4.HDFS的角色：①namenode ②datano...
HADOOP 离线计算机系统【二】HDFS详解
wzq18845280610的博客
11-26 1532
HDFS详解******HDFS基本概念篇******1.HDFS前言2. HDFS的概念和特性******HDFS基本操作篇******3. HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用3.2 命令行客户端支持的命令参3.2 常用命令参数介绍******HDFS原理篇******4.hdfs的工作机制**详细请看 ：HDFS 详解:** [https://blog.csdn.net/wzq18845280610/article/details/110188742](https:
数据存储_HDFS
weixin_43875878的博客
11-28 1399
对于每个block,NameNode都会返回含有该block副本的DataNode地址.返回的DN地址会按照集群拓扑结构中DataNode与客户端的距离进行排序网络拓扑结构中距离客户端近的排靠前,心跳机制中超时汇报的DN排靠后。为了容错,文件的所有block都会存储多个副本.数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份.HDFS中的文件在物理上是分块存储的,块的大小可以通过参数(dfs.block.size)来调整,默认是128M.......
HDFS的文件存储格式以及HDFS异构存储和存储策略
wxk的博客
10-09 6132
HDFS常见的文件存储格式。 冷数据、热数据、暖数据、冻数据的异构存储。 HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。
Python库 | hdfs3-0.1.4-py2.py3-none-any.whl
03-21
HDFS遵循主从结构，由NameNode（主节点）负责元数据管理，DataNode（从节点）负责实际的数据存储。HDFS的主要特性包括高容错性、可扩展性和高吞吐量的数据访问。 ### hdfs3库特点 1. **易用性**：`hdfs3`库通过...
java-Hdfs体系结构与基本概念
06-26
* DataNode：DataNode 是 HDFS 的数据存储节点，负责存储文件的实际数据。DataNode 是分布式的，一个 DataNode 可以存储多个文件块。DataNode 的主要作用是： + 存储文件的实际数据 + 提供数据读写服务 HDFS 基本...
分布式存储系统-HDFS.docx
10-01
分布式存储系统-HDFS 分布式文件系统（Distributed File System，DFS）是为了解决大数据存储问题而设计的，它能够将海量数据...HDFS是大数据处理的基础，学习和掌握HDFS将有助于理解和实现更高级的大数据解决方案。
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
在大数据技术领域，Hadoop 分布式文件系统（HDFS）是核心组件之一，它为大规模数据存储提供了可扩展和高容错性的解决方案。本实验报告主要关注HDFS的常用操作命令，这些命令是管理员和数据分析师日常工作中不可或缺...
通过Web的方式访问HDFS
weixin_44943389的博客
10-08 3940
请注意，要能够访问这些Web界面，你需要确保Hadoop集群已经正确配置和运行，并且你的网络环境允许从你的机器访问集群中的这些节点。如果你的Hadoop集群有定制的配置或者有其他特殊要求，你可能需要参考你所使用Hadoop版本的文档以获取详细的信息。这是Hadoop集群的资源管理器界面，它提供了有关集群资源使用情况的信息，包括正在运行的作业、集群容量等。这是Hadoop集群的文件系统管理界面，它提供了对文件和目录的浏览、权限设置、文件复制数量等的管理。
Hadoop进阶学习---HDFS分布式文件存储系统
Yan_bigdata的博客
11-29 1251
Hadoop架构之HDFS分布式文件存储系统的进阶学习,包括其特点、三大机制以及重要的几个原理,原理需要理解后融会贯通
3. HDFS分布式文件系统
shield911的博客
10-15 2975
HDFS分布式文件系统介绍
HDFS文件创建与写入
热门推荐
weixin_51551506的博客
11-02 1万+
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后显示如下，此时在HDFS的根目录下创建了log1和log2两个文件夹。运行后显示如下，可见此时根目录下已存在hello.txt文件。运行后显示如下，可见之前两个HDFS文件的内容都在这个文件中。
[数据存储]HDFS的简介、初始化配置与运行
focus：Follow One Cause Until Success
07-07 1722
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是Hadoop项目中关于数据存储的组件，是Hadoop项目的一部分。
Hadoop集成对象存储和HDFS磁盘文件存储
Brother_ning的博客
12-23 1730
计算引擎采用spark on yarn，热数据存储至HDFS，冷数据采用对象存储
HDFS的存储原理
weixin_49107940的博客
09-16 895
在hdfs中，文件是被划分了一堆堆的block块，那如果文件很大、以及文件很多，Hadoop是如何记录和整理文件和block块的关系呢？对于已经存在HDFS的文件，修改dfs.replication属性不会生效，如果要修改已存在文件可以通过命令。edits文件，是一个流水账文件，记录了hdfs中的每一次操作，以及本次操作影响的文件其对应的block。除了配置文件外，我们还可以在上传文件的时候，临时决定被上传文件以多少个副本存储。将全部的edits文件，合并为最终结果，即可得到一个FSImage文件。
华为HCIE-Storage V2.5 存储技术详解
传统的存储系统面临性能瓶颈、扩展性限制、管理复杂度增加以及旧设备利用率低等问题，华为的混合闪存系列存储通过文件系统级和块级数据的融合统一，以及多种效率提升机制，如在线重删压缩，来解决这些问题。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值