hadoop

1、对hdfs的操作方式：hadoop fs fs *****

hadoop fs -ls /   查看hdfs的跟目录下的内容

hadoop fs -lsr /  递归hdfs的根目录下的内容

hadoop fs mkdir  /d1 在hdfs上创建文件夹

        hadoop fs -put   xxx       ******   把linux数据从xxxxx上次到hdfs目录******下

        hadoop fs -get    xxxx    ******   把数据从hdfs下载到linux特定路径

        hadoop fs -text  查看hdfs中的文件

        hadoop fs -rm  删除hdfs中的文件

        hadoop fs  -rmr   删除hdfs中的文件夹

2、HDFS的datanode在存储数据时，如果原始文件大小>64mb，按照64mb切分，反之直接占用64mb

3、RPC(remote procedure call)

      不同的java进程间的对象方法的调用

      一方称作服务端（server)，一方称作客户端（client),

      server端提供对象，供客户端调用的。被调用的对象的方法的执行发生在server

      RPC是hadoop框架运行的基础，

4、通过rpc小例子获得的认识？

服务端通过的对象是一个接口，接口extends VersionedProtocal

  客户端能过的对象中的方法必须位于对象的接口中，

cat

使用方法：hadoop fs -cat URI [URI …]

将路径指定文件的内容输出到stdout。

示例：

• hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
• hadoop fs -cat file:///file3 /user/hadoop/file4
  

返回值：
成功返回0，失败返回-1。

chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the  Permissions User Guide. -->

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见 HDFS权限用户指南。

chmod

使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见 HDFS权限用户指南。

chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见 HDFS权限用户指南。

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是一个本地文件外，和put命令相似。

copyToLocal