qq_23871147的博客

关于HDFS读写顺序，有以下几点，首先，先看图：                                         1.客户端通过调用FileSystem对象的open()来读取希望打开的文件。2.DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。namenode返回每块副本的datanode的存储位置，根据他们

用户希望储存和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验1校验和（常用循环冗余校验CRC-32）2运行后台进程来检测数据块校验和写入数据节点验证读取数据节点验证恢复数据Localfilesystem类ChecksumfileSystem类写入数据节点验证Hdfs会对写入的所有数据计算校验和

序列化就是把 内存中的对象的状态信息，转换成 字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。反序列化就是将收到 字节序列或者是硬盘的持久化数据，转换成 内存中的对象。为什么Hadoop基本类型还要定义序列化？Hadoop在集群之间通信或者RPC调用时需要序

随着大数据的发展，如今Apache Hadoop已成为大数据行业发展背后的驱动力，形成了自己的生态圈。那么hadoop有哪些组成部分呢？MapReduce——Hadoop的核心MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分 布式计算优势就体现出来。将这种技术与Linux服务器结合可

学习Hadoop的时候，我们必须了解什么它的两大核心：HDFS分布式文件存储系统和MapReduce对分布式任务处理的支持。       HDFS采用了主从(Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HD