大数据复习知识点2

WinSCP的作用：WinSCP是一个用于在本地和远程计算机之间安全复制文件的开源工具。它支持SCP（Secure Copy）协议、SFTP（SSH File Transfer Protocol）以及FTP（File Transfer Protocol）协议，用于在Windows和类Unix系统（如Linux）之间传输文件。WinSCP提供了直观的图形化用户界面，使得文件传输和管理变得简单方便。同时，它支持SSH加密通信，确保文件在传输过程中的安全性。

Xshell的作用：Xshell是一个强大的安全终端模拟软件，用于在Windows系统上远程连接和管理Linux或Unix服务器。用户只需输入服务器的IP地址、用户名和密码，即可建立安全的连接，并获得服务器的终端访问权限。Xshell支持多种认证方法，提供了丰富的终端特性，如命令执行、文件传输等，使得管理员可以远程管理服务器，执行系统管理任务、安装软件、查看日志等操作。多个NameNode时，各NameNode的状态：在Hadoop的高可用（HA）配置中，通常会有两个NameNode。一个是active状态，负责对外提供服务，比如处理来自客户端的RPC请求；另一个是standby状态，它不对外提供服务，仅同步active NameNode的状态，以便在active NameNode失败时能够快速进行切换。

HDFS的"write-once-read-many"的含义：HDFS（Hadoop Distributed File System）的设计原则之一是“write-once-read-many”，即一次写入、多次读取。这意味着HDFS不支持文件的并行写操作，但支持高并发的读取操作。这种设计有助于提高数据的一致性和可靠性，并减少数据损坏的风险。

HDFS为何无法高效存储大量小文件：HDFS不适合高效存储大量小文件的原因主要有两点：首先，每个小文件都会占用一个block，而block有一定的大小（如Hadoop 2.x中默认为128MB），这会导致存储空间的浪费；其次，每个文件的元数据（如文件大小、存储位置等）都需要存储在NameNode上，大量小文件会消耗大量的NameNode内存，并增加元数据管理的复杂性。

元数据的含义：元数据是关于数据的数据，描述了数据的属性、结构和其他信息。在HDFS中，元数据主要包括文件的命名空间、属性（如生成时间、权限）、块列表以及每个块所在的DataNode列表等。这些信息对于文件系统的正确运行至关重要。

HDFS默认块大小：Hadoop 2.x中HDFS的默认块大小为128MB。块是HDFS中存储数据的基本单元，合理设置块大小有助于提高数据的读写效率和磁盘利用率。