HDFS

注：由学习Hadoop权威指南的

HDFS分布式文件系统

概念：
hadoop的分布式文件系统hdfs
hdfs思想：一次写入，多次读取是高效的，但是如果低延迟访问未必完全做得到，hdfs是为了大搞高数据吞吐量而设计，由于hdfs块默认为64M大小，这样减少了磁盘的寻址时间，这样硬盘的传输速度越快相应的数据传输速率就越快，这只是字面理解，[b]当然如果任务特别少作业的运行速度可能就比预期要慢很多[/b]，当然我未做过实际的大规模的对比，所以这只能是笔记了，不过想想也大概是这个道理，呵呵，
名称节点和数据节点
这里名称节点作为管理者管理众多数据节点这些被管理者，名称节点安全与否至关重要，注意名称节点的备份（远程备份或者第二名称节点备份，后者不完全同步）
配置：
fs.default.name=hdfs://localhost设置默认文件系统
dfs.replication=1//设置HDFS副本保存数量，这里为1，伪分布式下设置其他数目会报出异常

命令：
以下为hadoop fs的一些命令，跟linux差不多，在具体使用中会学到一些hadoop的hdfs的知识
hadoop@ubuntu:/opt/hadoop-0.20.2$ hadoop fs
Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-du <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]

还有hdfs的几个类
FileSystem文件系统 ，提供了对hdfs文件系统文件或者目录的定位，打开资源流访问等
FSDataInputStream文件系统数据输入流 FileSystem.open() return FSdis
FSDataOutputStream
FileStatus文件状态 fs.getFileStatus(Path);获取文件或者目录的属性状态
PathFilter与java的FileFilter类似