linux学习记录

系列文章目录

常用基本命令(cd,ls,pwd,mkdir,rm,cp,mv)

cd命令

cd是打开某个路径的命令，也就是打开某个文件夹，并跳转到该处。命令格式为：

cd path ### path为你要打开的路径

其中，path有绝对路径和相对路径之分，绝对路径强调从 / 起，一直到所在路径。相对路径则相对于当前路径来说，假设当前家目录有etc文件夹（绝对路径应为/home/username/etc），如果直接执行命令 cd etc 则进入此文件夹，但若是 cd /etc/ 则是进入系统 etc ，多琢磨一下就可以理解了。
另外在Linux中，

. 代表当前目录， 
… 代表上级目录，因此返回上级目录可以使用命令cd … 。

ls命令

ls 即list 列出文件

ls 目录名       		列出目录名下的可见文件
ls -l 目录名			列出目录名下的可见文件详细信息 
ls -hl 目录名			列出详细信息并以可读大小显示文件大小 
ls -al 目录名			列出所有文件（包括隐藏）的详细信息

注意：Linux中以’.’开头的文件或文件夹均为隐藏文件或隐藏文件夹。

pwd命令

pwd用于返回当前工作目录的名字，为绝对路径名。

mkdir命令

mkdir 用于新建文件夹。

rm命令

rm ### 即remove，删除文件或文件夹。

cp命令

cp ### 即copy，复制文件。

mv命令

mv ### 即move，移动文件。

文件操作(touch,cat,more)

touch命令

touch命令用于修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。

cat命令

cat 命令用于输出文件内容到到标准输出设备上。

more命令

more 与 cat 相似，都可以查看文件内容，所不同的是，当一个文档太长时， cat 只能展示最后布满屏幕的内容，前面的内容是不可见的。这时候可用 more 逐行显示内容，会以一页一页的形式显示，更方便使用者逐页阅读，而最基本的指令就是按enter键或空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示。

sed

sed命令

sed命令是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed命令格式

sed [-hnV][-e<script>][-f<script文件>][文本文件]

sed命令常用参数

-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；

-f<script文件>或--file=<script文件>：以选项中指定的script文件来处理输入的文本文件；

-h或--help：显示帮助；

-n或--quiet或--silent：仅显示script处理后的结果；

-V或--version：显示版本信息。

sed动作说明

a 在当前行下面插入文本。

i 在当前行上面插入文本。

c 把选定的行改为新的文本。

d 删除，删除选择的行。

D 删除模板块的第一行。

s 替换指定字符。

h 拷贝模板块的内容到内存中的缓冲区。

H 追加模板块的内容到内存中的缓冲区。

g 获得内存缓冲区的内容，并替代当前模板块中的文本。

G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。

l 列表不能打印字符的清单。

n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。

N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。

p 打印模板块的行。

P(大写) 打印模板块的第一行。

q 退出Sed。

b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。

r file 从file中读行。

t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。

T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。

w file 写并追加模板块到file末尾。

W file 写并追加模板块的第一行到file末尾。

! 表示后面的命令对所有没有被选定的行发生作用。

= 打印当前行号码。

# 把注释扩展到下一个换行符以前。

sed替换标记

g 表示行内全面替换。

p 表示打印行。

w 表示把行写入一个文件。

x 表示互换模板块中的文本和缓冲区中的文本。

y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）。

l 子串匹配标记。

& 已匹配字符串标记。

sed元字符集

^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。

$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。

. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。

* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。

[] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。

[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。

\(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。

& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。

\< 匹配单词的开始，如:/\ 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。

\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。

x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。

x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。

x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~1

awk

awk命令

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

之所以叫awk是因为其取了三位创始人 Alfred Aho，Peter Weinberger和 Brian Kernighan 的Family Name的首字符。

awk命令格式和选项

语法形式如下：

awk  [options]  'script'  var=value  file(s) 
或
awk  [options]  -f  scriptfile  var=value  file(s)

常用命令选项如下：

-F fs or --field-separator fs

指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。

-v var=value or --asign var=value

赋值一个用户定义变量。

-f scripfile or --file scriptfile

从脚本文件中读取awk命令。

-mf nnn and -mr nnn

对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

-W compact or --compat, -W traditional or --traditional

在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。

-W copyleft or --copyleft, -W copyright or --copyright

打印简短的版权信息。

-W help or --help, -W usage or --usage

打印全部awk选项和每个选项的简短说明。

-W lint or --lint

打印不能向传统unix平台移植的结构的警告。

-W lint-old or --lint-old

打印关于不能向传统unix平台移植的结构的警告。

-W posix

打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替和=；fflush无效。

-W re-interval or --re-inerval

允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。

-W source program-text or --source program-text

使用program-text作为源代码，可与-f命令混用。

-W version or --version

打印bug报告信息的版本。

awk模式和操作

awk脚本是由模式和操作组成的。

模式可以是以下任意一个：

正则表达式：使用通配符的扩展集。

关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试。

模式匹配表达式：用运算符（匹配）和!（不匹配）。

BEGIN语句块、pattern语句块、END语句块：参见awk的工作原理。

操作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内，主要部分是：

变量或数组赋值

输出命令

内置函数

控制流语句

awk脚本基本结构：

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file

一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中，例如：

awk ‘BEGIN{ i=0 } { i++ } END{ print i }’ filename
awk “BEGIN{ i=0 } { i++ } END{ print i }” filename

awk的工作原理

awk ‘BEGIN{ commands } pattern{ commands } END{ commands }’

第一步：执行BEGIN{ commands }语句块中的语句。

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{ commands }语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

awk运算符

运算符	            描述
= += -= *= /= %= ^= **=	赋值
?:	              C条件表达式
||	              逻辑或
&&	              逻辑与
~	              匹配正则表达式
~!	              不匹配正则表达式
< <= > >= != ==	      关系运算符
空格	             连接
+	              加
-	              减
*	              乘
/	              除
%	              取余
!	              逻辑非
^ ***	           求幂
++	              自增，作为前缀或后缀
--	              自减，作为前缀或后缀
$	              字段引用($)
in	              数组成员

awk内建变量

变量			描述

$n	当前记录的第n个字段，字段间由FS分隔

$0	完整的输入记录

ARGC	命令行参数的数目

ARGIND	命令行中当前文件的位置（从0开始）

ARGV	包含命令行参数的数组

CONVFMT	数字转换格式（默认值为%.6g）

ENVIRON	环境变量关联数组

ERRNO	最后一个系统错误描述

FIELDWIDTHS	字段宽度列表（以空格键分隔）

FILENAME	当前文件名

FNR	各文件分别计数的行号

FS	字段分隔符（默认为任何空格）

IGNORECASE	若为真，则进行忽略大小写的匹配

NF	输入字段分隔符

NR	已经读出的记录数（即行号，从1开始）

OFMT	数字的输出格式（默认值为%.6g）

OFS	输出字段分隔符

ORS	输出记录分隔符（默认为一个换行符）

RLENGTH	由match函数所匹配的字符串长度

RS	记录分隔符（默认为一个换行符）

RSTART	由match函数所匹配的第一个字符串的位置

SUBSEP	数组下标分隔符（默认值为/034）