B05 - 032、文件副本机制以及block块存储

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
一、文件副本机制以及block块存储
  1.1  抽象成数据块的好处。
  1.2  块存储。
  1.3  HDFS文件权限验证。

---

记忆词：

  数据块、块存储、文件权限

---

 B05 - 999、大数据组件学习② - Hadoop

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、文件副本机制以及block块存储

• 所有的文件都是以block块的方式存放在HDFS文件系统当中，在Hadoop1当中，文件的block块默认大小是64M。
• 在Hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定。

    <property>
        <name>dfs.block.size</name>
        <value>块大小 以KB为单位</value>//只写数值就可以
    </property>

  1.1 ~ 抽象成数据块的好处。

• 一个文件有可能大于集群中任意一个磁盘 10T*3/128 = xxx块 2T，2T，2T 文件方式存—–>多个block块，这些block块属于一个文件。
• 使用块抽象而不是文件可以简化存储子系统。
• 块非常适合用于数据备份进而提供数据容错能力和可用性。

  1.2 ~ 块缓存。

• 通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。
• 默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。
• 作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。
• 例如： 连接（join）操作中使用的一个小的查询表就是块缓存的一个很好的候选。
• 用户或应用通过在缓存池中增加一个cache directive来告诉namenode需要缓存哪些文件及存多久。
• 缓存池（cache pool）是一个拥有管理缓存权限和资源使用的管理性分组。
• 例如：一个文件 130M，会被切分成2个block块，保存在两个block块里面，实际占用磁盘130M空间，而不是占用256M的磁盘空间。

  1.3 ~ HDFS文件权限验证。

• hdfs的文件权限机制与linux系统的文件权限机制类似。
• r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容。
• 如果linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan。
• HDFS文件权限的目的：阻止好人做错事，而不是阻止坏人做坏事。
• HDFS相信你告诉我你是谁，你就是谁。

春蚕到死丝方尽，蜡炬成灰泪始干。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，文件副本机制以及block块存储完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

SQL中，谓词EXISTS可用来测试一个集合是否：

…
A、有重复元组
B、有重复的别名
C、为非空集合
D、有空值
…
C

春蚕到死丝方尽，蜡炬成灰泪始干。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

春蚕到死丝方尽，蜡炬成灰泪始干。