hdoop-2_finalshell怎么修改属主属组-CSDN博客

本文链接：https://blog.csdn.net/weixin_44934158/article/details/109180848

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

HDOOP@2

一、pandas是什么# 学习目标：

提示：回忆上次文章
学习目标：熟练掌握hadoop fs命令

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、hadoop

HDFS集群：

负责数据的存储。
集群中的角色：
- NameNode：命名结点
- DataNode：数据结点
- SecondaryNameNode：秘书结点

YARN集群

负责数据运算的硬件资源调度，比如内存
集群中的角色
- Resource Manager
- Node Manager

1.直接走cdh

安装方式和教程网上自寻

1.su - hdfs

-ls	-ls <路径>	查看指定路径的当前目录结构
选项名称	使用格式	含义
-lsr	-lsr <路径>	递归查看指定路径的目录结构
-du	-du <路径>	统计目录下个文件大小
-dus	-dus <路径>	汇总统计目录下文件(夹)大小
-count	-count [-q] <路径>	统计文件(夹)数量
-mv	-mv <源路径> <目的路径>	移动
-cp	-cp <源路径> <目的路径>	复制
-rm	-rm [-skipTrash] <路径>	删除文件/空白文件夹
-rmr	-rmr [-skipTrash] <路径>	递归删除
-put	-put <多个linux上的文件> <hdfs路径>	上传文件
-copyFromLocal	-copyFromLocal <多个linux上的文件> <hdfs路径>	从本地复制
-moveFromLocal	-moveFromLocal <多个linux上的文件> <hdfs路径>	从本地移动
-getmerge	-getmerge <源路径> <linux路径>	合并到本地
-cat	-cat <hdfs路径>	查看文件内容
-text	-text <hdfs路径>	查看文件内容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目的路径]	从本地复制
-moveToLocal	-moveToLocal [-crc] <hdfs源路径> <linux目的路径>	从本地移动
-mkdir	-mkdir <hdfs路径>	创建空白文件夹
-setrep	-setrep [-R] [-w] <副本数> <路径>	修改副本数量
-touchz	-touchz <文件路径>	创建空白文件
-stat	-stat [format] <路径>	显示文件统计信息
-tail	-tail [-f] <文件>	查看文件尾部信息
-chmod	-chmod [-R] <权限模式> [路径]	修改权限
-chown	-chown [-R] [属主][:[属组]] 路径	修改属主
-chgrp	-chgrp [-R] 属组名称路径	修改属组
-help	-help [命令选项]	帮助

### 操作Hadoop以外的文件

Shell命令行客户端不止可以操作HDFS的文件，还可以操作其他Hadoop支持的文件系统，比如linux的文件系统（示例）：

hadoop fs -ls file:///root
#这个命令就和在linux下执行 ls /root一样

hadoop fs -ls [-h] [-R]

-h 文件大小显示

-R 显示当前路径下的文件和文件的子路径

[root@node-1 ~]# hadoop fs -ls -h /
Found 3 items
-rw-r--r--   2 root supergroup      9.2 K 2020-03-26 01:57 /install.log.syslog
drwx------   - root supergroup          0 2020-03-26 00:59 /tmp
drwxr-xr-x   - root supergroup          0 2020-03-26 00:59 /user

-mkdir

hadoop fs -mkdir [-p]

和linux一样

-put

上传

hadoop fs -put [-f] [-p] [ -| … ].

注意，前面的路径默认Linux的路径，就是直接输入/是linux的根目录
后面的路径是是Hadoop的路径，就是输入/是NameSpace的根目录

-p：保留访问和修改时间，所有权和权限。

-f：覆盖目的地（如果已经存在）

#把本地文件上传到Hadoop中
[root@node-1 ~]# hadoop fs -put /root/install.log.syslog /
[root@node-1 ~]# hadoop fs -ls -h /
Found 3 items
-rw-r--r--   2 root supergroup      9.2 K 2020-03-26 01:57 /install.log.syslog
drwx------   - root supergroup          0 2020-03-26 00:59 /tmp
drwxr-xr-x   - root supergroup          0 2020-03-26 00:59 /user

-get

下载

使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]

-ignorecrc：跳过对下载文件的CRC检查。

-crc：为下载的文件写CRC校验和。

[root@node-1 test]# hadoop fs -get /install.log.syslog ./
[root@node-1 test]# ll
total 12
-rw-r--r--. 1 root root 9380 Mar 26 09:14 install.log.syslog

-appendToFile

把一个本地文件的内容追加到NameSpace中的另一个文件的最后

hadoop fs -appendToFile …

#本地创建1和2两个txt，文件内容就是1和2
[root@node-1 test]# vim 1.txt
[root@node-1 test]# vim 2.txt
#检查文件创建是否成功
[root@node-1 test]# ls
1.txt  2.txt  install.log.syslog
#把1上传到NameSpace中
[root@node-1 test]# hadoop fs -put 1.txt /
#通过Hadoop命令查看
[root@node-1 test]# hadoop fs -cat /1.txt
1
#appendToFile
[root@node-1 test]# hadoop fs -appendToFile 2.txt /1.txt
#再次查看，说明成功了
[root@node-1 test]# hadoop fs -cat /1.txt
1
2