大数据常用命令

最新推荐文章于 2024-05-10 10:18:12 发布

西郊外

最新推荐文章于 2024-05-10 10:18:12 发布

阅读量1.3k

点赞数

分类专栏： hadoop 文章标签： hdfs 大数据 linux

本文链接：https://blog.csdn.net/weixin_43904021/article/details/121390666

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1 hadoop 常用命令

1.1 hdfs常用命令

hadoop fs -put ./liubei.txt /user/atguigu/test/
hadoop fs -get /sanguo/shuguo/kongming.txt ./
hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
hadoop fs -ls /
hadoop fs -mkdir -p /sanguo/shuguo
hadoop fs -cat /sanguo/shuguo/kongming.txt
hadoop fs -rm /user/atguigu/test/jinlian2.txt

-du  -h 统计文件夹的大小的信息
hadoop fs -du  -h /user/atguigu/test

hadoop fs -mkdir -p /sanguo/shuguo

1.2 yarn 杀死application

yarn application -kill + application id

yarn application -list

Yarn命令 | ZY笔记 (zhyea.com)

2 linux 常用命令

2.1 vim

2.1.1 一般模式：一般模式中可以进行删除、复制、粘贴等的动作，


y数字y		复制一段（从第几行到第几行）
yy			 复制光标当前一行

d数字d	    删除光标（含）后多少行
dd			 删除光标当前行

p	箭头移动到目的行粘贴
u	撤销上一步

shift+6（^）	移动到行头
shift+4 （$）	移动到行尾

2.1.2 编辑模式

 /要查找的词 	n 查找下一个，N 往上查找
 
 :set nu	显示行号
 :set nonu	关闭行号

:%s/old/new/g	替换内容   /g 替换匹配到的所有内容

2.2 网络配置和系统管里


systemctl  start | stop | restart | status  服务名

ifconfig		（显示所有网络接口的配置信息）
ping 目的主机    （测试当前服务器是否可以连接目的主机）

2.3 常用基本命令

----- 帮助命令
man [命令或配置文件]		（功能描述：获得帮助信息）
help 命令	（功能描述：获得shell内置命令的帮助信息）

常用快捷键	功能
ctrl + c	停止进程
ctrl+l		清屏；彻底清屏是：reset
ctrl + q	退出
善于用tab键	提示(更重要的是可以防止敲错)
上下键	查找执行过的命令


----- 文件目录类
ls -al 		(查看当前目录的所有内容信息)
cp -r  xiyou/dssz/ ./   (-r 递归复制整个文件夹)

echo "hello" > myfile   (显示结果定向到文件) 
(>>是追加，>是覆盖  )

tail  -n  5 文件 	（查看文件尾部5行内容，5可以是任意行数）
tail  -f  文件	（实时追踪该文档的所有更新）

ls -l  > 文件		（功能描述：列表的内容写入文件a.txt中（覆盖写））
ls -al  >> 文件		（功能描述：列表的内容追加到文件aa.txt的末尾）
cat 文件1 > 文件2	（功能描述：将文件1的内容覆盖到文件2）
echo “内容” >> 文件

------ 用户管理类
su 用户名称   		（切换用户，只能获得用户的执行权限，不能获得环境变量）
su - 用户名称		（切换到用户并获得该用户的环境变量及执行权限）
sudo 设置普通用户具有root权限

----- 文件查找类
find [搜索范围] [选项]  (从指定目录向下递归地遍历其各个子目录，将满足条件的文件显示在终端。)
-name<查询方式>
-user<用户名>
find xiyou/ -name *.txt   
find xiyou/ -user atguigu

| +  grep

----- 压缩解压
tar zcvf
tar zxvf    -C （卸 解压） 
tar -zxvf xiyou.tar.gz -C /opt （解压文件到指定目录）


----- 进程线程类
ps -aux | grep xxx		（功能描述：查看系统中所有进程）
ps -ef | grep xxx		（功能描述：可以查看子父进程之间的关系）
如果想查看进程的CPU占用率和内存占用率，可以使用aux;
如果想查看进程的父进程ID可以使用ef;

kill -9 5102  	（	kill  [选项] 进程号	） 

top 查看系统健康状态
top -p 2575   （监控某个进程的状态）
 
netstat 显示网络统计信息和端口占用情况
netstat -anp | grep 进程号	（功能描述：查看该进程网络信息）
netstat –lnp | grep 端口号	（功能描述：查看网络端口号占用情况）
netstat -nltp | grep 22    （查看某端口号是否被占用）

----- 系统定时服务
 crontab 
 
----- 软件包管理工具rpm
rpm -qa | grep rpm软件包   （查询所安装的所有rpm软件包）
rpm -e     RPM软件包 		（卸载）
rpm -ivh   RPM包全名 		（安装）

-----  yum仓库
yum [选项] [参数]