Linux大数据重要命令

真正的大数据工程师，linux命令是横着写很长，不是一句一句执行的，尤其是大数据工程师需要检测cpu，内存，网络IO等各种开销，就需要掌握各种命令，命令主要分为这几种，一是查看各种进程的相关信息，其中包括cpu或者内存等从高到底，或者是前十等等。二是排查故障，结合linux和java的各种命令快速定位到问题出现的关键地方。三是排除系统长时间使用过慢原因等。

首先需要明确的是，要学会各种linux命令的结合使用，不可僵化

 

一、ps

查看前十个进程

一共有两个做法，一个是top，一个是ps -aux

 1)  ps -aux

 ①查看1前十个进程

ps -aux |head -n 10

查看后10个进程

ps -aux |tail -n 10 

注意：一定要活学活用，head，tail不仅可以看进程的前十，也可以看文档的前十行之类的

 ②查找内存的使用的前十进程

ps -aux |sort -nk3|head -n 10

sort   -nk3是从小到大排序， sort   -nk3r 是倒序

字段解析： -n  -------number，指的是下面按照第几个字段排序

                   -k3----------key 3，指的是按照第三个字段，按照某个字段就指定几

                  -r  ----------按照倒序

上面的三个位置不固定

扩展：

grep和find区别

find：强调的是查找的有无，相当于windows中的ctrl+F

grep：强调的是过滤的多少，find只有一个，但是grep可以不止一个，他是扫描，更强调的是接受结果集然后在进行过滤

 2) top详解

视图1是：命令：top

第一行：

13:24:12 — 当前系统时间
126 days, 14:29 — 系统已经运行了126天14小时29分钟（在这期间没有重启过）
 3 users — 当前有3个用户登录系统
 load average: 1.15, 1.42, 1.44 — load average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。

load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了。

load average特定的算法是：三者之和在乘以3  和  6 比较，如果大的话处于超负荷，大于9就是严重超负荷

第二行：
Tasks — 任务（进程），系统现在共有183个进程，其中处于运行中的有1个，182个在休眠（sleep），stoped状态的有0个，zombie状态（僵尸）的有0个。

第三行：cpu状态
6.7% us — 用户空间占用CPU的百分比。
0.4% sy — 内核空间占用CPU的百分比。
0.0% ni — 改变过优先级的进程占用CPU的百分比
92.9% id — 空闲CPU百分比
0.0% wa — IO等待占用CPU的百分比
0.0% hi — 硬中断（Hardware IRQ）占用CPU的百分比
0.0% si — 软中断（Software Interrupts）占用CPU的百分比

第四行：内存状态
8306544k total — 物理内存总量（8GB）
7775876k used — 使用中的内存总量（7.7GB）
530668k free — 空闲内存总量（530M）
79236k buffers — 缓存的内存量 （79M）

第七行以下：各进程（任务）的状态监控
PID — 进程id
USER — 进程所有者
PR — 进程优先级
NI — nice值。负值表示高优先级，正值表示低优先级
VIRT — 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
RES — 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
SHR — 共享内存大小，单位kb
S — 进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程
%CPU — 上次更新到现在的CPU时间占用百分比
%MEM — 进程使用的物理内存百分比
TIME+ — 进程使用的CPU时间总计，单位1/100秒
COMMAND — 进程名称（命令名/命令行）

视图2：命令是top+ 数字 1      监控每个CPU的状况

进程字段排序
默认进入top时，各进程是按照CPU的占用量来排序的，在【top视图 01】中进程ID为14210的java进程排在第一（cpu占用100%），进程ID为14183的java进程排在第二（cpu占用12%）。可通过键盘指令来改变排序字段，比如想监控哪个进程占用MEM最多，我一般的使用方法如下：

1. 敲击键盘“b”（打开/关闭加亮效果）

2、通过敲击“y”键关闭或打开运行态进程的加亮效果，我们发现进程id为10704的“top”进程被加亮了，top进程就是视图第二行显示的唯一的运行态（runing）的那个进程

3、 敲击键盘“x”（打开/关闭排序列的加亮效果）

视图3：默认的排序是按CPU的消耗，通过”shift + >”或”shift + <”可以向右或左改变排序列，下图是按一次”shift + >”的效果

视图4：改变进程显示字段    敲击“f”键，top进入另一个视图，在这里可以编排基本视图中的显示字段

这里列出了所有可在top基本视图中显示的进程字段，有”*”并且标注为大写字母的字段是可显示的，没有”*”并且是小写字母的字段是不显示的。如果要在基本视图中显示“CODE”和“DATA”两个字段，可以通过敲击“r”和“s”键，然后回车就可以看到多了“CODE”和“DATA”两个字段

局限：top命令的监控最小单位是进程，所以看不到我关心的java线程数和客户连接数，而这两个指标是java的web服务非常重要的指标，通常我用ps和netstate两个命令来补充top的不足。

监控java线程数：
ps -eLf | grep java | wc -l  或者是jps

监控网络客户连接数：
netstat -n | grep tcp | grep 侦听端口 | wc -l

二、问题1：统计正在运行的zookeeper进程数量

其中需要排除grep查找进程，所以，需要命令：grep  -v  grep

wc  -l 统计个数

ps -ef |grep zookeeper |grep -v grep | wc -l

三、问题2：统计上面最大的PID号

ps -ef |grep zookeeper|grep -v grep | sort -nk2r |head -n 1 |awk '{print$2}'

其中用到了awk，这个强大的文本分析工具：

详情介绍见https://www.cnblogs.com/xudong-bupt/p/3721210.html

四、可变参数

关键字：  | xargs +命令

在查找并处理后的数据集可以做命令的参数，

比如，kill  命令，需要指定进程号，则可以用ps查出进程号，然后作为他的参数

举例：删除PID前二的命令

ps -ef |grep zookeeper|grep -v grep | sort -nk2r |head -n 1 |awk '{print$2}'| xargs kill -9

五、统计Ip日志中出现最多的ip

cat  xxx.log  |awk '{print$1}' |sort | uniq -c

uniq命令用于去重

-c：显示重复次数

案例2：https://blog.csdn.net/dream_188810/article/details/78228318

六、★快速定位到哪部分（具体到某线程，某行代码）引起内存资源过高

这个需要ps加上java的调错命令jstack，这是除了debugger的另一个重要的调错手段

步骤：

①top 或者是ps  -aux ，  查看资源消耗最高的进程

②记录这个PID

③使用命令： ps  -mp  +进程号    ( mp是显示该进程的线程信息)：找出该进程下的哪个线程出现了问题

例如： 

ps  -mp |grep 5212 -o THEAD,tid,time

④找出线程号，用jstack进行调错

jstack + 进程号 |  grep 线程号(16进制)  -A+显示的行数

例如：

jstack 5212 | grep 1451d -A60

七、排除系统长时间使用过慢问题？

top调错，见上

uptime : 缩减版的top

CPU：vmstat  -n n1 n2 

         n1:指定间隔时间

         n2:指定行数

内存：free -m (以M为单位)

           free -g（以g为单位）

磁盘： df  -h

             df  

I/O : iostat -d  n1 n2 

       n1:指定间隔时间

         n2:指定行数