Linux 或 类Unix通用命令
vi 编辑器的一些基本操作
- 使用场景: 将过滤后的日志输出至文件中可以方便查看和查找关键字
- 编辑器内命令非常多，常用的整理如下，如果需要更多，可以参考此链接 VIM命令总结
- vi & vim & view 将文件打开
vi 2019_0123_all.log vim 2019_0123_all.log // vi 与 vim 打开文件其实一致，部分老的设备没有安装vim view 2019_0123_all.log // view方式打开文件是只读模式,如果在编辑后需要保存可以使用 :w! 强制保存 - 进入文件之后有4种模式，一般常用2种：1，正常模式；2，插入模式；打开文件之后默认进入 1-正常模式，此外，无论处于什么模式，均可以通过 键进入正常模式
- 正常模式:
### 正常模式下可以进行查找、替换、设置格式、行号、跳转等一系列不需要内容插入的操作，例如： 0 // 跳转至当前行的首字符 $ // 跳转至当前行的末尾字符 x // 删除光标选择的字符 r // 替换光标选择的字符 u // 回退上一个操作 dd // 删除光标所在行(其实是剪切) yy // 复制光标所在行 p // 将剪贴板上的内容粘贴在光标所在行的下一行 ?stringA // 向上查询 stringA 关键字 n可以向上继续查询，N向下查询 /stringA // 向下查询 stringA 关键字 n可以向下继续查询, N向上查询 /int\> // 向下查询以 int关键字结尾的匹配项 /\<int\> // 向下查询匹配 int 关键字的字符串，全字匹配 :set ignorecase // 查找时忽略大小写 :set noignorecase // 查找时取消忽略大小写 :set nu // 设置文件显示行号 :set nonu // 设置文件取消显示行号 :1 // 跳转至文件的第一行(数字可以任意填写,会跳转至指定行) :%s /stringA/stringB/g // 将文件中的 stringA 字符串全部替换为 stringB 字符串 :16,78 /stringA/stringB/g // 将文件中的 16-78 行区间内的 stringA 字符串全部替换为 stringB 字符串 :set fileformat=unix // 设置文件格式 :q! // 放弃当前文件的编辑并退出该文档 :wq! // 保存当前文件的编辑内容并退出该文档 :w // 保存当前文件的编辑内容 ### 正常模式下还可以进行组合键操作，用以翻页、跳转等，例如: shift + g // 跳转至文件末尾 ctrl + f // 向下翻页 ctrl + d // 向下翻 ctrl + b // 向上翻 ctrl + g // 查看当前文件行数，光标位置百分比 - 插入模式(编辑模式)
### 插入模式进入方法: a 或者 i (append or insert) ## 在插入模式下就和正常的txt文本编辑器一致，可以输入字符，写代码，写注释等 ## 实际应用过程中可以灵活切换 正常模式 与 插入模式, 通过 <ESC> 按钮和 i 按钮进行切换即可
Linux 或者 类Unix系统的常用命令
- 菜鸟教程 // 非常实用的Linux教程，Shell教程
- 实用命令
echo xxx // 可以打印出xxx 或者 echo $A 打印出A变量的内容 echo $? // 可以打印出上一个命令执行是否成功,如果为0则成功 touch xxx.cpp // 可以创建一个xxx.cpp空文件 (touch命令可以用来修改文件的时间 -d) man // 可以查看手册中关于某个函数或者命令的解释,标准手册,可以查看 man man cat filename.log // 可以将文件的内容全部打印在屏幕中 nl xxx.cpp // 可以打印出xxx.cpp并且附带行号 more filename.log // 可以将文件的部分内容打印在屏幕上，使用d下翻b上翻q结束 tail -n filename.log // 可以查看文件的末尾n行内容(或者使用tail -n 5 x.log) head -n filename.log // 可以查看文件的首部n行内容 expr 1 + 2 // 可以计算出 1+2 的值(注意*需要添加\转义符) ps -ef | grep xxxx // 可以查看正在工作的进程信息，包含进程ID sed 's/stringA/stringB/g' 1.txt // 可以将文件中的A字符串替换成B字符串后显示(但文件里内容未实际替换 >重定向即可) tar -cvf ~/tmp.tar ~/dir1/*.txt // 可以将~/dir1目录下的所有txt文件打包在~目录下的tmp.tar包中 tar -xvf ~/tmp.tar // 可以将~/tmp.tar解压到当前目录下 tar zxvf ~/tmp.tar -C ~/log // 可以将~/tmp.tar包解压到指定的~/log目录下 gzip xxx.tar // 可以将xxx.tar压缩为.gz格式(大小会改变) gunzip xxx.tar.gz // 可以将xxx.tar.gz压缩包解压 crontab -e // 可以加入定时执行的任务 crontab -l // 可以查看当前系统的定时执行任务 kill 12339 // 可以杀死进程12339 (可以加入-9参数 kill -9 12339) nohup sh xxx.sh & // 可以后台执行xxx.sh，输出会重定向到当前目录的nohup.out或者根目录下的.out文件中 chmod +x start.sh // 可以给start.sh文件赋予执行的权限(rwx 4 2 1 = 7) --- script filename.log // 可以开始记录系统接下来的标准输出信息到文件中(如果要退出，使用 exit 退出) banner hello // 可以打印出一个加大版的hello (部分系统需要apt install sysvbanner) wall hello // 可以在登录的服务器上公告hello，每个登录的用户都会收到一条这个hello信息 diff file_01 file_02 // 可以查看file_01 与 file_02两个文件的区别 diff3 file_01 file_02 file_03 // 可以查看3个文件的区别 wc -l filename.log // 查看文件的行数 使用方法: wc -l x.txt 或者 cat x.txt | wc -l who // 查看当前登录系统的用户并查看信息 vmstat -w // 查看当前系统的硬件信息 iostat // 查看当前系统的io状态，是否有io wait top // 查看当前系统的CPU状态以及正在工作的进程 lsof -i:端口号 // 查看某一端口的占用情况 netstat -tunlp // 查看全部端口的占用情况 netstat -tunlp | grep 端口号 // 查看某一端口的占用情况 - 常用命令
### find (可以用来查找文件) find ./ -name "*.txt" -type f -print // 查找./目录下所有.txt文件并打印在结果区 find ./ -name "Main" -type d -print // 查找./目录下所有名称为Main的的文件夹 find 命令还有很多种其他用法，上述两种为经常用到的查找文件或者目录的用法 ### grep (可以用来查找关键字) grep keyword xxx.log // 在xxx.log中查找keyword关键字，并打印出匹配行的内容 grep keyword xxx.log | wc -l // 查询出匹配的关键字行数并进行统计行数量 cat xxx.log | grep keyword // 用途同上, 但是会多一步操作，文件太大不要这么做 grep keyword01 xxx.log | grep keyword02 // 查找到keyword01关键字的结果再次查找keyword02关键字 grep -n key -A 2 -B 2 xxx.log // 查找在xxx.log中匹配key关键字的行，并同时将前2行后2行展示 grep key xxx.log | grep -v key01 // 查找在xxx,log中匹配key关键字的行，忽略其中有key01关键字的行 grep -i key xxx.log //不区分大小写地搜索,默认情况区分大小写 grep -w key xxx.log //只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’）， grep命令非常强大,并且可以和其他命令组合,使用管道符 | 将结果进行多次过滤 ### awk (行处理器，根据每一行内容进行处理后输出) awk -F ':' '{print $2}' xxx.log // 输出xxx.log每一行以:为分隔符的第2个区域的内容 1:2:3 输出2 awk -F ':' '{print "%-30s%-15s\n",$1,$2}' // 输出第1个域的内容,左对齐30个字符;输出第2个域的内容,左对齐15个字符 awk命令还可以执行代码块操作，这里不做展开，上述这个用法最为实用, 使用 | 管道符组成一串复杂的命令 ### sed (对行做处理, 替换或者删除) sed '10d' test.log // 删除test.log中的第10行 sed -i '$a addLine' big.log // 在big.log的末尾添加一行内容为: addLine sed -i '10 a newLine' big.log // 在big.log的第10行添加一行内容为:newLine(文件特别大,不使用vim打开编辑) ### > or >> (重定向) > ~/tmp/renleilei/2019_0125.log // 创建一个新的文件或者清空原有文件后将输出写入该文件 >> ~/tmp/renleilei/2019_0125.log // 创建一个新的文件或者将文件内容追加到原有文件的最后 - shell脚本撰写示例
// shell脚本其实说白了是一个 shell 命令的集合，将众多命令或者循环操作放在一个文件中按顺序执行，严格按编写顺序执行，配合定时任务等功能可以实现很多重复操作自动化 // 例子1： #!/bin/bash #================================================================ # Copyright (C) 2018 Renleilei. All rights reserved. # # 文件名称：shell25_checkPPT.sh # 创 建 者：Renleilei (renleilei1992@foxmail.com) # 创建日期：2018年06月21日 # 描 述： # 版 本: Version 1.00 #================================================================ # # 查询ppt上传错误的信息 # # 筛选区间: 20190210 - 20190221 echo "---------筛选开始-----------" echo "配置信息如下:" ResultPath=/tmp/renleilei/2019_ppt_result.txt Keyword01='upload files failed' Keyword02='Load ppt list time out' Keyword03='_H5PPT_' Keyword04='failed' #echo "筛选目录: "$Path echo "结果目录: "$ResultPath echo "关键词01: "$Keyword01 echo "关键词02: "$Keyword02 #清空结果文件 >$ResultPath for Day in $(seq 20 21) do { Path=/home/syslog-ng/2019/02/$Day/datareport/ for i in $(seq 0 23) do { if [ $i -lt 10 ]; then i="0"$i; fi Filename="eventlog."$i".log" echo "开始筛选文件: "$Filename echo "执行语句: grep $Keyword01 $Path$Filename >>$ResultPath" ## 以下为执行语句 ##`grep 'upload files failed' $Path$Filename | grep '502' >>$ResultPath` `grep '_H5PPT_' $Path$Filename | grep 'failed' >>$ResultPath` } done } done ## while 循环 val=5 while(($val<10)) do echo "val 小于 10!" sleep 1 ((val=val+1)) done ## 下面命令先注释掉 ##cd /tmp/renleilei ##pathNow=`pwd` ##echo "now the path is: "$pathNow #`cat $ResultPath | awk -F '' echo "--------筛选结束------------" // 例子2： #!/bin/bash #================================================================ # Copyright (C) 2018 Renleilei. All rights reserved. # # 文件名称：shell25_checkPPT.sh # 创 建 者：Renleilei (renleilei1992@foxmail.com) # 创建日期：2018年06月21日 # 描 述： # 版 本: Version 1.00 #================================================================ # 筛选区间: 20180721 - 20180722 echo "---------筛选开始-----------" echo "配置信息如下:" Path_result_prefix=/tmp/2018renleilei ResultPath_00=$Path_result_prefix/20180723_result_00.txt ResultPath_01=$Path_result_prefix/20180723_result_01.txt ResultPath_02=$Path_result_prefix/20180723_result_02.txt ResultPath_03=$Path_result_prefix/20180723_version.txt ResultPath_04=$Path_result_prefix/20180723_user.txt ResultPath_05=$Path_result_prefix/20180723_device.txt Keyword01=osversion Keyword02='"platform":"PC"' Keyword03='"osversion":"5.1.2600"' ### xp版本号: NT 5.1 Windows XP Home/ Windows XP 64-bit Edition / Windows XP Professional Keyword04='"osversion":"5.2.3790"' ### xp版本号: NT 5.2 Windows XP Professional x64 echo "筛选目录: "$Path echo "关键词01: "$Keyword01 echo "关键词02: "$Keyword02 echo "关键词03: "$Keyword03 echo "关键词04: "$Keyword04 echo "使用XP版本的用户ID文件: "$ResultPath_04 for Day in $(seq 21 22) do { if [ $Day -lt 10 ]; then Day="0"$Day; fi Path= ## 日志存放路径 for i in $(seq 0 23) do { if [ $i -lt 10 ]; then i="0"$i; fi Filename="eventlog."$i".log" echo "开始筛选文件: "$Path$Filename ## 筛选出所有XP NT5.1 版本的用户 包含platform字段、userID字段、osversion字段 、version字段 `grep $Keyword02 $Path$Filename | grep $Keyword03 | awk -F ',' '{print $4" "$6" "$7" "$8}' | sort -u >>$ResultPath_00` ## 筛选出所有XP NT5.2 版本的用户 包含platform字段、userID字段、osversion字段 、version字段 `grep $Keyword02 $Path$Filename | grep $Keyword04 | awk -F ',' '{print $4" "$6" "$7" "$8}' | sort -u >>$ResultPath_00` } done } done echo "next step: " echo "处理结果文件: " `awk -F '"' '{if($8 != ""){print $8" "$16}}' $ResultPath_00 | sort -u >>$ResultPath_03` echo "筛选出各个版本的用户: " xp_UserNum=`wc -l $ResultPath_03` v_7095=`grep '7.0.9.5' $ResultPath_03 | wc -l` v_7097=`grep '7.0.9.7' $ResultPath_03 | wc -l` v_71113=`grep '7.1.1.13' $ResultPath_03 | wc -l` v_7118=`grep '7.1.1.8' $ResultPath_03 | wc -l` v_7119=`grep '7.1.1.9' $ResultPath_03 | wc -l` v_7123=`grep '7.1.2.3' $ResultPath_03 | wc -l` v_7127=`grep '7.1.2.7' $ResultPath_03 | wc -l` v_7128=`grep '7.1.2.8' $ResultPath_03 | wc -l` ## 获取各版本的用户ID `grep '7.0.9.5' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.0.9.7' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.1.13' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.1.8' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.1.9' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.2.3' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.2.7' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` `grep '7.1.2.8' $ResultPath_03 | awk -F ' ' '{print $1}' >>$ResultPath_04` ## 输出结果 echo "xp 系统登录用户数为: "$xp_UserNum echo "7.0.9.5 版本用户数为: $v_7095" echo "7.0.9.7 版本用户数为: $v_7097" echo "7.1.1.13 版本用户数为: $v_71113" echo "7.1.1.8 版本用户数为: $v_7118" echo "7.1.1.9 版本用户数为: $v_7119" echo "7.1.2.3 版本用户数为: $v_7123" echo "7.1.2.7 版本用户数为: $v_7127" echo "7.1.2.8 版本用户数为: $v_7128" echo "--------筛选结束------------" // 例子3 (shell开启多进程处理)： #!/bin/bash #================================================================ # Copyright (C) 2018 Renleilei. All rights reserved. # # 文件名称：shell25_checkPPT.sh # 创 建 者：Renleilei (renleilei1992@foxmail.com) # 创建日期：2017年06月21日 # 描 述： # 版 本: Version 1.00 #================================================================ ##多进程处理 >chk.log start=`date "+%S"` for i in $(seq 1 5) do { echo $i"'s process is working!";sleep 5 }& done wait end=`date "+%S"` echo "Time: `expr $end - $start`" start=`date "+%S"` func_1() { echo "func_1's process is working!";sleep 1 } func_2() { echo "func_2's process is working!";sleep 2 } func_3() { echo "func_3's process is working!";sleep 3 } for func in func_1 func_2 func_3 do { $func > $func.log 2>&1 }& done wait for func in func_1 func_2 func_3 do iRet=`cat $func.log >> chk.log` ## iRet=`rm -rf $func.log` done end=`date "+%S"` echo "Total Time: `expr $end - $start`"
166
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
