linux & unix程序开发基础教程,【作减法】Linux工具快速教程 - 基础篇

1. 命令帮助

在只记得部分命令关键字的场合，我们可通过man -k来搜索；

需要知道某个命令的简要说明，可以使用whatis；而更详细的介绍，则可用info命令；

查看命令在哪个位置，我们需要使用which；

而对于命令的具体参数及使用方法，我们需要用到强大的man

2. 文件及目录管理

2.1 创建和删除

创建：mkdir

删除：rm

删除非空目录：rm -rf file目录

删除日志 rm *log

移动：mv

复制：cp (复制目录：cp -r )

2.2 目录切换

找到文件/目录位置：cd

切换到上一个工作目录： cd -

切换到home目录： cd or cd ~

显示当前路径: pwd

更改当前工作路径为path: cd path

2.3 列出目录项

显示当前目录下的文件 ls

按时间排序，以列表的方式显示目录项 ls -lrt

2.4 查找文件/目录

搜寻文件或目录: find ./ -name "core*" | xargs file

查找目标文件夹中是否有obj文件: find ./ -name '*.o'

递归当前目录及子目录删除所有.o文件: find ./ -name "*.o" -exec rm {} \;

locate会为文件系统建立索引数据库，如果有文件更新，需要定期执行更新命令来更新索引库: updatedb

2.5 查看文件内容

查看文件的相关命令：cat vi head tail more

显示时同时显示行号: $cat -n

按页显示列表内容: $ls -al | more

显示文件前六行: $head -6 filename

显示文件后五行: $tail -5 filename

查看两个文件间的差别: $diff file1 file2

动态显示文本最新信息: $tail -f crawler.log (常用于日志处理)

2.6 文件与目录权限修改

改变文件的拥有者 chown

改变文件读、写、执行等属性 chmod

递归子目录修改： chown -R tuxapp source/

增加脚本可执行权限： chmod a+x myscript

2.7 文件别名

ln cc ccAgain :硬连接；删除一个，将仍能找到；

ln -s cc ccTo :符号链接(软链接)；删除源，另一个无法使用，类似于快捷方式(后面一个ccTo 为新建的文件)

2.8 管道和重定向

批处理命令连接执行，使用|

串联: 使用分号;

前面成功，则执行后面一条，否则，不执行:&&

前面失败，则后一条执行: ||

ls /proc && echo suss! || echo failed.

与上述相同效果的是:

if ls /proc; then echo suss; else echo fail; fi

重定向：

ls proc/*.c > list 2> &l 将标准输出和标准错误重定向到同一文件；等价的是:ls proc/*.c &> list

清空文件::> a.txt

重定向:echo aa >> a.txt

简单Bash

- Ctl-U 删除光标到行首的所有字符,在某些设置下,删除全行

- Ctl-W 删除当前光标到前边的最近一个空格之间的字符

- Ctl-H backspace,删除光标前边的字符

- Ctl-R 匹配最相近的一个文件，然后输出

查找record.log中包含AAA，但不包含BBB的记录的总数: cat -v record.log | grep AAA | grep -v BBB | wc -l

3. 文本处理

3.1 find文件查找

查找txt和pdf文件: find . \( -name "*.txt" -o -name "*.pdf" \) -print

正则方式查找.txt和pdf: find . -regex ".*\(\.txt|\.pdf\)$"

-iregex： 忽略大小写的正则

否定参数 ,查找所有非txt文本: find . ! -name "*.txt" -print

指定搜索深度,打印出当前目录的文件(深度为1): find . -maxdepth 1 -type f

file命令可以检查文件具体类型(二进制或文本):所以,可以用以下命令组合来实现查找本地目录下的所有二进制文件:

ls -lrt | awk '{print $9}'|xargs file|grep ELF| awk '{print $1}'|tr -d ':'

3.2 grep 文本搜索

grep match_patten file // 默认访问匹配行

-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行

-c 统计文件中包含文本的次数 grep -c “text” filename

-n 打印匹配的行号

-i 搜索时忽略大小写

-l 只打印文件名

在多级目录中对文本递归搜索(程序员搜代码的最爱):grep "class" . -R -n

将日志中的所有带where条件的sql查找查找出来:

cat LOG.* | tr a-z A-Z | grep "FROM " | grep "WHERE" > b

3.3 xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find； - 将多行输出转化为单行输出

cat file.txt| xargs

参数说明

-d 定义定界符 (默认为空格 多行的定界符为 n)

-n 指定输出为多行

-I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时

-0：指定0为输入定界符

cat file.txt | xargs -I {} ./command.sh -p {} -1

#统计程序行数

find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

#redis通过string存储数据，通过set存储索引，需要通过索引来查询出所有的值：

./redis-cli smembers $1 | awk '{print $1}'|xargs -I {} ./redis-cli get {}

3.4 uniq 消除重复行

消除重复行 sort unsort.txt | uniq

找出重复行 sort unsort.txt | uniq -d

3.5 tr 转换

cat text| tr '\t' ' ' //制表符转空格

tr删除字符

cat file | tr -d '0-9' // 删除所有数字

-c 求补集

cat file | tr -c '0-9' //获取文件中所有数字

cat file | tr -d -c '0-9 \n' //删除非数字数据

tr压缩字符

tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格:

cat file | tr -s ' '

可用字符类：

alnum：字母和数字

alpha：字母

digit：数字

space：空白字符

lower：小写

upper：大写

cntrl：控制(非可打印)字符

print：可打印字符

使用方法：tr [:class:] [:class:]

tr '[:lower:]' '[:upper:]'

3.6 cut 切分

截取文件的第2列和第4列 cut -f2,4 filename

去文件除第3列的所有列 cut -f3 --complement filename

-d 指定定界符 cat -f2 -d";" filename

3.7 wc 统计行和字符的工具

wc -l file // 统计行数

wc -w file // 统计单词数

wc -c file // 统计字符数

3.8 sed 文本替换利器

首处替换

sed 's/text/replace_text/' file //替换每一行的第一处匹配的text

全局替换

sed 's/text/replace_text/g' file

直接替换原文件不输出替换后的内容，使用-i:

sed -i 's/text/repalce_text/g' file

移除空白行

sed '/^$/d' file

字符串插入字符：将文本中每行内容(ABCDEF) 转换为 ABC/DEF:

sed 's/^.\{3\}/&\//g' file

3.9 awk 数据流处理工具

awk脚本结构

awk ' BEGIN{ statements } statements2 END{ statements } '

工作方式

1.执行begin中语句块；

2.从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；

3.执行end语句块；

打印每一行的第二和第三个字段awk '{print $2, $3}' file

统计文件的行数`awk ’ END {print NR}’ file“

awk结合grep找到指定的服务，然后将其kill掉

ps -fe| grep msv8 | grep -v MFORWARD | awk '{print $2}' | xargs kill -9;

awk常用内建函数

index(string,search_string):返回search_string在string中出现的位置

sub(regex,replacement_str,string):将正则匹配到的第一处内容替换为replacement_str;

match(regex,string):检查正则表达式是否能够匹配字符串；

length(string)：返回字符串长度

echo | awk ‘{“grep root /etc/passwd” | getline cmdout; print length(cmdout) }’

printf 类似c语言中的printf，对输出进行格式化:

seq 10 | awk ‘{printf “->%4s\n”, $1}’

4. 磁盘与进程管理

4.1 查看磁盘空间

查看磁盘空间利用大小: df -h

-h: human缩写，以易读的方式显示结果(即带单位：比如M/G，如果不加这个参数，显示的数字以B为单位)

查看当前目录所占空间大小: du -sh

-h 人性化显示

-s 递归整个目录的大小

4.2 进程管理

任何进程都与文件关联；我们会用到lsof工具(list opened files)，作用是列举系统中已经被打开的文件。在linux环境中，任何事物都是文件，设备是文件，目录是文件，甚至sockets也是文件。用好lsof命令，对日常的linux管理非常有帮助。

查询正在运行的进程信息 ps -ef

查询归属于用户colin115的进程 ps -lu colin115

查询进程名中含有re的进程 pgrep -l re

以完整的格式显示所有的进程 ps -ajx

显示进程信息，并实时更新 top

查看端口占用的进程状态： lsof -i:3306

查看用户username的进程所打开的文件 lsof -u username

查询指定的进程ID(23295)打开的文件： lsof -p 23295

杀死指定PID的进程 (PID为Process ID) kill PID

杀死相关进程 kill -9 3434

杀死job工作 (job为job number) kill %job

5. 性能监控

查看CPU使用率sar -u

查看内存使用量free -m

页面发生交换时，服务器的吞吐量会大幅下降；服务器状况不良时，如果怀疑因为内存不足而导致了页面交换的发生，可以使用sar -W这个命令来确认是否发生了大量的交换；sar -W 1 3

列出所有端口 (包括监听和未监听的):netstat -a

列出所有 tcp 端口:netstat -at

列出所有有监听的服务状态:netstat -l

使用netstat工具查询端口:netstat -antp | grep 6379

查询7902端口现在运行什么程序，分为两步

第一步，查询使用该端口的进程的PID；

$lsof -i:7902

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME

WSL 30294 tuapp 4u IPv4 447684086 TCP 10.6.50.37:tnos-dp (LISTEN)

查到30294

使用ps工具查询进程详情：

$ps -fe | grep 30294

tdev5 30294 26160 0 Sep10 ? 01:10:50 tdesl -k 43476

root 22781 22698 0 00:54 pts/20 00:00:00 grep 11554

查看路由状态:route -n

探测前往地址IP的路由路径:traceroute IP

DNS查询，寻找域名domain对应的IP:host domain

反向DNS查询:host IP

添加用户useradd -m username

设置密码passwd username

删除用户userdel -r username

帐号切换su userB

查看所有用户及权限:more /etc/passwd

查看所有的用户组及权限:more /etc/group

查看Linux系统版本: uname -a 或者 lsb_release -a

查看Unix系统版本：操作系统版本: more /etc/release

查询CPU信息: cat /proc/cpuinfo

查看内存信息: cat /proc/meminfo

显示架构: arch

6. 环境变量

bashrc与profile都用于保存用户的环境信息，bashrc用于交互式non-loginshell，而profile用于交互式login shell。

/etc/profile，/etc/bashrc 是系统全局环境变量设定

~/.profile，~/.bashrc用户目录下的私有环境变量设定

当登入系统获得一个shell进程时，其读取环境设置脚本分为三步:

1.首先读入的是全局环境变量设置文件/etc/profile，然后根据其内容读取额外的文档，如/etc/profile.d和/etc/inputrc

2.读取当前登录用户Home目录下的文件~/.bash_profile，其次读取~/.bash_login，最后读取~/.profile，这三个文档设定基本上是一样的，读取有优先关系

3.读取~/.bashrc

~/.profile与~/.bashrc的区别:

1、这两者都具有个性化定制功能

2、~/.profile可以设定本用户专有的路径，环境变量，等，它只能登入的时候执行一次

3、~/.bashrc也是某用户专有设定文档，可以设定路径，命令别名，每次shell script的执行都会使用它一次