Hadoop学习笔记1

1.创建文件夹

hadoop fs -mkdir [-p] path
hdfs dfs -mkdir [-p] path

2.查看指定目录下内容

-h：人性化显示文件size

-R：递归查看指定目录及其子目录

hadoop fs -ls [-h] [-R] path
hdfs dfs -ls [-h] [-R] path

3.上传文件到HDFS指定目录

-f：覆盖

-p：保留访问和修改时间，所有权和权限

hadoop fs -put [-f] [-p] <linux路径> <hdfs路径>
hdfs dfs -put file:///home/hadoop/test.txt hdfs://node1:8020/

4.查看HDFS文件内容

hadoop fs -cat <src>
hdfs dfs -cat <src> 
#读取大文件可以使用管道符配合more
hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more

5.下载HDFS文件(从HDFS下载到linux)

-f：覆盖

-p：保留访问和修改时间，所有权和权限

hadoop fs -get [-f] [-p] <src>   <localdist>
hdfs dfs -get [-f] [-p] <src>   <localdist>

6.拷贝HDFS文件

hadoop fs -cp [-f] <hdfs> <hdfs>
hdfs dfs -cp [-f] <hdfs> <hdfs>

7.追加数据到HDFS文件中

无法修改，要么删掉，要么追加

hadoop fs -appendToFile <localsrc> <dst>
hdfs dfs -appendToFile <localsrc> <dst>

8.数据移动操作

移动+重命名

hadoop fs -mv <> <>
hdfs -mv <> <>

9.数据删除操作

-shipTrash 跳过回收站直接删除

hadoop fs -rm -r [-skipTrash] URI [URI...]

默认回收站功能关闭，如果要开启的话，需要在/export/server/hadoop/etc/hadoop/core-site.xml中添加如下内容：

<configuration>
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>

  <property>
    <name>fs.trash.checkpoint.interval</name>
    <value>120</value>
  </property>
</configuration>

回收站默认位置在/user/用户名/.Trash

10.Web UI上查看文件系统内容

node1:9870

浏览文件系统

浏览器内只能以匿名用户查看集群内的数据，如果要加授权，需要在core-site.xml配置：

<configuration>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>hadoop</value>
  </property>

添加之后重启集群

总结：