1、HDFS访问方式
shell命令
Java API
Rest API
HDFS Fuse:实现了Fuse协议
HDFS lib hdfs : c/c++访问接口
HDFS 其他编程语言API
使用thrift实现
支持c++ 、python、php等语言
2、shell命令
1)文件操作命令bin/hadoop fs ….
将本地文件上传到HDFS:
bin/hadoop fs -copyFromLocal 本地目录 hdfs目录
删除HDFS文件、目录
bin/hadoop fs -rmr 目录路径/文件路径
创建目录
bin/hadoop fs -mkdir 目录路径
2)管理命令bin/hadoop dfsadmin …
3)管理脚本
sbin目录下
start-all.sh
start-dfs.sh
start-yarn.sh
hadoop-daemon.sh
单独启动某个服务
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
4)文件管理命令bin/hadoop fsck …
5)数据均衡器 balancer
6)设置目录份额
如果目录超过设置的空间大小,写失败
7)增加、移除datanode
在不停机的情况下增加、移除节点;
3、Java API
1)相关类介绍
2)使用范例
4、HDFS 多语言API–借助thrift
thrift是facebook开源的RPC框架