Hadoop

1.大数据的特征:大量，高速，多样，低价值密度

2.结构化数据： 结构化的数据一般是指可以使用关系型数据库表示和存储，可以用二维表来逻辑表达实现的数据。结构化数据的存储和排列是很有规律，但是它的扩展性不好.

非结构化数据：非结构化数据就是没有固定结构的数据。包括所有格式的办公文档、Word、PPT、文本、图片、各类报表、图像和音频/视频信息等等，对非结构化的数据，一般以二进制的形式直接整体进行存储。

3.Hadoop生态圈：Hadoop的核心组件是HDFS、MapReduce。

4.Hadoop hdfs 架构 ：HDFS:Hadoop Distributed File System(hadoop分布式文件系统)                         

                                        

5.hdfs读的流程：

读流程大体步骤
读流程就是client向HDFS读取数据的过程，分成三个部分，其大体步骤：

客户端通过调用FileSystem对象的open()方法来打开hdfs上的文件，这个方法在底层会调用ClientProtocol.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStream是一个DFSInputStream的装饰类，真正进行数据块读取操作的是DFSInputStream对象。
DistributedFileSystem通过调用RPC接口ClientProtocol.getBlockLocations()方法向名字节点NameNode获取该hdfs文件起始块的位置，同一Block按照重复数会返回多个位置，这些位置按照Hadoop集群拓扑结构排序，距离客户端近的排在前面；所以DFSInputStream会选择一个最优的DataNode节点，然后建立与这个节点的数据连接并读取数据块。
客户端通过DFSInputStream.read()方法从最优的DataNode节点上读取数据块，数据块会以数据包(packet)为单位从数据节点通过流式接口传递到客户端，当一个数据块读取完毕时，其会再次调用ClientProtocol.getBlockLocations()获取文件的下一个数据块位置信息，并建立和这个新的数据块的最优DataNode之间的连接，然后hdfs客户端就会继续读取该数据块了。
一旦客户端完成读取，就对HdfsDataInputStream调用close()方法关闭文件读取的输入流