shell 进入hadoop_hadoop的shell命令操作

1、文件上传 -put

[root@mini3 ~]# echo duanchangrenzaitianya > cangmumayi.avi

//将cangmumayi.avi上传到hdfs文件系统的根目录下

[root@mini3 ~]# hadoop fs -put cangmumayi.avi /

hadoop是表示hadoop操作,fs表示hdfs,后面与linux命令差不多,会多出”-“。

注:上传的时候会根据配置

dfs.replication

2

来备份2份,存放在指定的工作目录下/root/hadoop/hdpdata(名称会变,藏的也很深)

指定进行工作的数据目录

hadoop.tmp.dir

/root/hadoop/hdpdata

比如我这里是三台进行集群,其中两个是datanode,那么在这两台都进行了备份,如果是三台datanode,那么其中有两台备份另外一台没有。

可以去页面查看

image.png

2、下载 -get

[root@mini3 ~]# rm -r cangmumayi.avi

rm:是否删除普通文件 "cangmumayi.avi"?yes

[root@mini3 ~]# ll

总用量 60

-rw-------. 1 root root 1131 9月 6 19:41 anaconda-ks.cfg

drwxr-xr-x. 4 root root 4096 9月 30 21:55 apps

drwxr-xr-x. 3 root root 4096 10月 1 19:29 hadoop

-rw-r--r--. 1 root root 12526 9月 6 19:41 install.log

-rw-r--r--. 1 root root 3482 9月 6 19:41 install.log.syslog

drwxr-xr-x. 2 root root 4096 9月 12 21:06 mini1

drwxr-xr-x. 3 root root 4096 9月 24 06:26 zkdata

-rw-r--r--. 1 root root 19113 9月 23 18:33 zookeeper.out

[root@mini3 ~]# hadoop fs -get /cangmumayi.avi

[root@mini3 ~]# ll

总用量 64

-rw-------. 1 root root 1131 9月 6 19:41 anaconda-ks.cfg

drwxr-xr-x. 4 root root 4096 9月 30 21:55 apps

-rw-r--r--. 1 root root 22 10月 3 21:21 cangmumayi.avi

drwxr-xr-x. 3 root root 4096 10月 1 19:29 hadoop

-rw-r--r--. 1 root root 12526 9月 6 19:41 install.log

-rw-r--r--. 1 root root 3482 9月 6 19:41 install.log.syslog

drwxr-xr-x. 2 root root 4096 9月 12 21:06 mini1

drwxr-xr-x. 3 root root 4096 9月 24 06:26 zkdata

-rw-r--r--. 1 root root 19113 9月 23 18:33 zookeeper.out

3、查看文件内容 -cat

[root@mini3 ~]# hadoop fs -cat /cangmumayi.avi

duanchangrenzaitianya

注:(1)HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M。

比如:我上传了一个hadoop(>128M)到hdfs中,假设有三个datanode,那么文件会切分为2个文件,存到其中两个hadoop的工作的数据目录中,假设编号分别为100026,100027,由于备份是2,那么同时第三个的工作数据目录中会存在100026,100027两个文件。但是下载的时候会自动给我们拼出来而不用我们收到去拼完整。

4、查看目录信息 -ls

[root@mini3 ~]# hadoop fs -ls /

-rw-r--r-- 2 root supergroup 22 2017-10-03 21:12 /cangmumayi.avi

5、创建文件夹 -mkdir

[root@mini3~]# hadoop fs -mkdir -p /wordcount/input(-p表示创建多级目录),页面查看可以看到多了个文件夹

6、从本地剪切到hdfs -moveFromLocal

[root@mini3 ~]# hadoop fs -moveFromLocal a.txt /

[root@mini3 ~]# hadoop fs -ls /

-rwxrwxrwx 3 root supergroup 85 2017-10-02 19:45 /a.txt

-rw-r--r-- 2 root supergroup 22 2017-10-03 21:12 /cangmumayi.avi

7、追加一个文件内容到已经存在的文件末尾 -appendToFile

[root@mini3 ~]# echo xxxxoooooxxoo > xxoo.txt

[root@mini3 ~]# hadoop fs -appendToFile xxoo.txt /a.txt

[root@mini3 ~]# hadoop fs -cat /a.txt

xiaoyu is a god

xiaoyu is beautiful

xioayu is my zhinv

xiaonv is smart

xxxxoooooxxoo

8、改权限和改组 -chgrp,-chmod,-chown

[root@mini2 ~]# hadoop fs -chmod 777 /a.txt

[root@mini2 ~]# hadoop fs -ls /

-rwxrwxrwx 2 root supergroup 85 2017-10-02 19:45 /a.txt

-rw-r--r-- 2 root supergroup 7 2017-10-01 20:22 /canglaoshi_wuma.avi

drwx------ - root supergroup 0 2017-10-01 23:36 /tmp

drwxr-xr-x - root supergroup 0 2017-10-02 19:31 /wordcount

[root@mini2 ~]# hadoop fs -chown angelababy:mygirls /canglaoshi_wuma.avi

[root@mini2 ~]# hadoop fs -ls /

-rwxrwxrwx 2 root supergroup 85 2017-10-02 19:45 /a.txt

-rw-r--r-- 2 angelababy mygirls 7 2017-10-01 20:22 /canglaoshi_wuma.avi

drwx------ - root supergroup 0 2017-10-01 23:36 /tmp

drwxr-xr-x - root supergroup 0 2017-10-02 19:31 /wordcount

hdfs弱的权限控制不会管权限是否合法的

9、合并下载多个文件 -getmerge,/wordcount/input文件夹下有a.txt和b.txt文件

[root@mini2 ~]# hadoop fs -getmerge '/wordcount/input/*.*' merg.file

[root@mini2 ~]# ll

总用量 17352

-rw-------. 1 root root 1131 9月 12 03:59 anaconda-ks.cfg

drwxr-xr-x. 4 root root 4096 9月 30 21:55 apps

-rw-r--r--. 1 root root 71 10月 1 21:01 b.tx

-rw-r--r--. 1 root root 7 10月 1 20:20 canglaoshi_wuma.avi

drwxr-xr-x. 3 root root 4096 10月 1 19:26 hadoop

-rw-r--r--. 1 root root 12526 9月 12 03:59 install.log

-rw-r--r--. 1 root root 3482 9月 12 03:59 install.log.syslog

-rw-r--r--. 1 root root 142 10月 2 19:57 merg.file

-rw-r--r--. 1 root root 14 10月 2 19:45 xxoo.txt

drwxr-xr-x. 3 root root 4096 9月 12 19:31 zkdata

-rw-r--r--. 1 root root 17699306 6月 20 15:55 zookeeper-3.4.6.tar.gz

-rw-r--r--. 1 root root 11958 9月 23 18:33 zookeeper.out

10、统计文件夹的大小信息 -du

[root@mini2 ~]# du -sh * linxu命令,为了形成与hadoopshell操作的对比

4.0K anaconda-ks.cfg

266M apps

4.0K b.tx

4.0K canglaoshi_wuma.avi

16M hadoop

16K install.log

4.0K install.log.syslog

4.0K merg.file

4.0K xxoo.txt

152K zkdata

17M zookeeper-3.4.6.tar.gz

12K zookeeper.out

[root@mini2 ~]# hadoop fs -du -s -h hdfs://mini1:9000/*

85 hdfs://mini1:9000/a.txt

7 hdfs://mini1:9000/canglaoshi_wuma.avi

22 hdfs://mini1:9000/cangmumayi.avi

13.5 M hdfs://mini1:9000/tmp

217 hdfs://mini1:9000/wordcount

hadoop fs -du -s /*这样写会出现bug,出现的是linux下的文件大小

11、设置副本的数量 -setrep

[root@mini2 ~]# hadoop fs -setrep 3 /a.txt

Replication 3 set: /a.txt

注:这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量,比如这个时候去页面查看就有三个副本了但是如果只有三台机器最多只能有三个,即使设置了10个显示了是个副本也没用。

另外还有一些其他的常用命令就不详细写了

12、从本地文件系统中拷贝文件到hdfs路径去 -copyFromLocal

hadoop fs -copyFromLocal a.txt /wordcount

13、从hdfs拷贝到本地 -copyToLocal

14、从hdfs的一个路径拷贝hdfs的另一个路径 -cp

hadoop fs -cp /wordcount/a.txt /bbb/b.txt

15、在hdfs目录中移动文件 -mv

hadoop fs -mv /wordcount/a.txt /

16、删除文件或者文件夹 -rm

hadoop fs -rm -r /aaa/a.txt

17、统计文件系统的可用空间信息 -df

hadoop fs -df -h /

能看出hadoop的shell操作与linux命令大部分都是一样的。

而对于操作是否成功很多都是可以直接在页面看到。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop_getshell指的是利用Hadoop漏洞获取系统shell权限。Hadoop是一个开放源代码的分布式存储和计算框架,被广泛应用于大数据处理。但是,由于Hadoop的复杂性和开放性,可能存在各种漏洞和安全风险。 Hadoop_getshell通常是通过利用Hadoop的可远程读写文件的特性进行的攻击。攻击者利用该特性上传恶意的Jar文件,这个Jar文件包含了指令,能够执行系统命令,从而获取到服务器的shell权限。 一旦攻击者成功获取到shell权限,他们就可以在系统中执行各种操作,包括但不限于查看、修改、删除敏感数据,制造破坏或者窃取敏感信息。 防范hadoop_getshell攻击的关键是加强Hadoop集群的安全性。以下是一些常见的防御措施: 1. 及时更新Hadoop的版本和补丁,以修复已知的安全漏洞。 2. 限制Hadoop集群的访问权限。只有授权用户才能访问和操作集群。 3. 配置防火墙,限制对Hadoop集群的外部访问。 4. 定期审查Hadoop集群的日志,寻找异常行为和潜在的安全威胁。 5. 定期进行安全扫描和漏洞扫描,发现潜在的安全漏洞并及时修复。 6. 加强系统的监控和入侵检测,及时发现并应对异常活动。 7. 对Hadoop集群进行访问控制,使用强密码、多因素认证等加固账户安全。 8. 监控网络流量,发现并阻止异常的数据传输行为。 9. 定期进行安全培训和意识提升,提高员工对安全风险和攻击手段的认知。 总之,要防范hadoop_getshell攻击,需要综合应用多种防御措施,不断加强Hadoop集群的安全性,保护好大数据环境中的敏感信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值