linux学习笔记

一、 Linux操作系统的文件和目录

1.1 单用户操作系统和多用户操作系统

单用户操作系统：指一台计算机在同一时间 只能由一个用户 使用，一个用户独自享用系统的全部硬件和软件资源
Windows XP 之前的版本都是单用户操作系统
多用户操作系统：指一台计算机在同一时间可以由 多个用户 使用，多个用户共同享用系统的全部硬件和软件资源
Unix 和 Linux 的设计初衷就是多用户操作系统

1.2 Windows 和 Linux 文件系统区别

1.2.1 Windows 下的文件系统

在 Windows 下，打开 “计算机”，我们看到的是一个个的驱动器盘符：

每个驱动器都有自己的根目录结构，这样形成了多个树并列的情形，如图所示：

1.2.2 Linux 下的文件系统

linux 没有盘符这个概念，只有一个根目录 /，所有文件都在它下面

1.2.3 用户目录

位于 /home/user，称之为用户工作目录或家目录，表示方式：

/home/user
~

1.2.4 Linux 主要目录速查表

• /：根目录，
  一般根目录下只存放目录，在 linux 下有且只有一个根目录，所有的东西都是从这里开始
  当在终端里输入 /home，其实是在告诉电脑，先从 /（根目录）开始，再进入到 home 目录
  /bin、/usr/bin：可执行二进制文件的目录，如常用的命令 ls、tar、mv、cat 等

• /boot：放置 linux 系统启动时用到的一些文件，如 linux 的内核文件：/boot/vmlinuz，系统引导管理器：/boot/grub

• /dev：存放linux系统下的设备文件，访问该目录下某个文件，相当于访问某个设备，常用的是挂载光驱mount /dev/cdrom /mnt

• /etc：系统配置文件存放的目录，不建议在此目录下存放可执行文件，重要的配置文件有
  /etc/inittab
  /etc/fstab
  /etc/init.d
  /etc/X11
  /etc/sysconfig
  /etc/xinetd.d

• /home：系统默认的用户家目录，新增用户账号时，用户的家目录都存放在此目录下

• ~ 表示当前用户的家目录
  ~edu 表示用户 edu 的家目录

• /lib、/usr/lib、/usr/local/lib：系统使用的函数库的目录，程序在执行过程中，需要调用一些额外的参数时需要函数库的协助

• /lost+fount：系统异常产生错误时，会将一些遗失的片段放置于此目录下

• /mnt: /media：光盘默认挂载点，通常光盘挂载于 /mnt/cdrom 下，也不一定，可以选择任意位置进行挂载

• /opt：给主机额外安装软件所摆放的目录

• /proc：此目录的数据都在内存中，如系统核心，外部设备，网络状态，由于数据都存放于内存中，所以不占用磁盘空间，比较重要的文件有：/proc/cpuinfo、/proc/interrupts、/proc/dma、/proc/ioports、/proc/net/* 等

• /root：系统管理员root的家目录

• /sbin、/usr/sbin、/usr/local/sbin：放置系统管理员使用的可执行命令，如 fdisk、shutdown、mount 等。与 /bin 不同的是，这几个目录是给系统管理员 root 使用的命令，一般用户只能"查看"而不能设置和使用

• /tmp：一般用户或正在执行的程序临时存放文件的目录，任何人都可以访问，重要数据不可放置在此目录下

• /srv：服务启动之后需要访问的数据目录，如 www 服务需要访问的网页数据存放在 /srv/www 内

• /usr：应用程序存放目录
  /usr/bin：存放应用程序
  /usr/share：存放共享数据
  /usr/lib：存放不能直接运行的，却是许多程序运行所必需的一些函数库文件
  /usr/local：存放软件升级包
  /usr/share/doc：系统说明文件存放目录
  /usr/share/man：程序说明文件存放目录

• /var：放置系统执行过程中经常变化的文件
  /var/log：随时更改的日志文件
  /var/spool/mail：邮件存放的目录
  /var/run：程序或服务启动后，其 PID 存放在该目录下

二、 Linux的命令格式

2.1 终端命令格式

command [-options] [parameter]

说明：

• command：命令名，相应功能的英文单词或单词的缩写
• [-options]：选项，可用来对命令进行控制，也可以省略
• parameter：传给命令的参数，可以是 零个、一个 或者 多个

[] 代表可选

2.2 查阅命令帮助信息

2.2.1 --help

command --help

说明：

• 显示 command 命令的帮助信息

2.2.2 man

man command

说明：

• 查阅 command 命令的使用手册
• man 是 manual 的缩写，是 Linux 提供的一个 手册，包含了绝大部分的命令、函数的详细使用说明

使用 man 时的操作键：

操作键	功能
空格键	显示手册页的下一屏
Enter 键	一次滚动手册页的一行
b	回滚一屏
f	前滚一屏
q	退出
/word	搜索 word 字符串

三、 Linux常用命令

3.1 查看文件信息：ls

ls是英文单词list的简写，其功能为列出目录的内容，是用户最常用的命令之一，它类似于DOS下的dir命令。

Linux文件或者目录名称最长可以有265个字符，

• “.”代表当前目录，
• “…”代表上一级目录，
• 以“.”开头的文件为隐藏文件，需要用 -a 参数才能显示。

ls常用参数：

参数	含义
-a	显示指定目录下所有子目录与文件，包括隐藏文件
-l	以列表方式显示文件的详细信息
-h	配合 -l 以人性化的方式显示文件大小

ll 列出的信息含义如下图所示：

与DOS下的文件操作类似，在Unix/Linux系统中，也同样允许使用特殊字符来同时引用多个文件名，这些特殊字符被称为通配符。

通配符	含义
*	文件代表文件名中所有字符
ls te*	查找以te开头的文件
ls *html	查找结尾为html的文件
？	代表文件名中任意一个字符
ls ?.c	只找第一个字符任意，后缀为.c的文件
ls a.?	只找只有3个字符，前2字符为a.，最后一个字符任意的文件
[]	[”和“]”将字符组括起来，表示可以匹配字符组中的任意一个。“-”用于表示字符范围。
[abc]	匹配a、b、c中的任意一个
[a-f]	匹配从a到f范围内的的任意一个字符
ls [a-f]*	找到从a到f范围内的的任意一个字符开头的文件
ls a-f	查找文件名为a-f的文件,当“-”处于方括号之外失去通配符的作用
\	如果要使通配符作为普通字符使用，可以在其前面加上转义字符。“?”和“*”处于方括号内时不用使用转义字符就失去通配符的作用。
ls *a	查找文件名为*a的文件

3.2 清屏：clear

clear作用为清除终端上的显示(类似于DOS的cls清屏功能)，也可使用快捷键：Ctrl + l ( “l” 为字母 )。

3.3 切换工作目录： cd

在使用Unix/Linux的时候，经常需要更换工作目录。cd命令可以帮助用户切换工作目录。Linux所有的目录和文件名大小写敏感

cd后面可跟绝对路径，也可以跟相对路径。如果省略目录，则默认切换到当前用户的主目录。

命令	含义
cd	切换到当前用户的主目录(/home/用户目录)，用户登陆的时候，默认的目录就是用户的主目录。
cd ~	切换到当前用户的主目录(/home/用户目录)
cd .	切换到当前目录
cd …	切换到上级目录
cd -	可进入上次所在的目录

注意：

• 如果路径是从根路径开始的，则路径的前面需要加上 “ / ”，如 “ /mnt ”，通常进入某个目录里的文件夹，前面不用加 “ / ”。

3.4 显示当前路径：pwd

使用pwd命令可以显示当前的工作目录，该命令很简单，直接输入pwd即可，后面不带参数。

3.5 创建目录：mkdir

通过mkdir命令可以创建一个新的目录。参数-p可递归创建目录。

需要注意的是新建目录的名称不能与当前目录中已有的目录或文件同名，并且目录创建者必须对当前目录具有写权限。

3.6 创建文件: touch

用户可以通过touch来创建一个空的文件，demo如下：

touch hello.txt

说明：

• 则会在当前路径下创建名字为hello.txt的空文件
• Linux系统中没有严格的后缀（格式），所以创建文件时可以命名为任意的文件名

3.7 删除文件：rm

可通过rm删除文件或目录。使用rm命令要小心，因为文件删除后不能恢复。为了防止文件误删，可以在rm后使用-i参数以逐个确认要删除的文件。

常用参数及含义如下表所示：

参数	含义
-i	以进行交互式方式执行
-f	强制删除，忽略不存在的文件，无需提示
-r	递归地删除目录下的内容，删除文件夹时必须加此参数

3.8 拷贝：cp

cp命令的功能是将给出的文件或目录复制到另一个文件或目录中，相当于DOS下的copy命令。

常用选项说明： cp [options] 源文件 目标位置

选项	含义
-f	已经存在的目标文件而不提示
-i	交互式复制，在覆盖目标文件之前将给出提示要求用户确认
-r	若给出的源文件是目录文件，则cp将递归复制该目录下的所有子目录和文件，目标文件必须为一个目录名。
-v	显示拷贝进度

3.9 mv：移动、重命名

用户可以使用mv命令来移动文件或目录，也可以给文件或目录重命名。

常用选项说明：

选项	含义
-f	禁止交互式操作，如有覆盖也不会给出提示
-i	确认交互方式操作，如果mv操作将导致对已存在的目标文件的覆盖，系统会询问是否重写，要求用户回答以避免误覆盖文件
-v	显示移动进度

3.10 tree：查看文件结构

tree 查看路径的所有文件夹结构，会把子层目录也显示出来

3.11 history：查看历史命令

查看历史命令，如果有一个命令你想重复使用，那就引用就可以了

!106 #引用第106条命令

3.12 输出重定向命令：>

Linux允许将命令执行结果重定向到一个文件，本应显示在终端上的内容保存到指定文件中。

ls > test.txt #(test.txt 如果不存在，则创建，存在则覆盖其内容 )

注意： >输出重定向会覆盖原来的内容，>>输出重定向则会追加到文件的尾部。

3.13 查看或者合并文件内容：cat

查看文件的内容，可以结合重定向符来合并文件

3.14 分屏显示：more

查看内容时，在信息过长无法在一屏上显示时，会出现快速滚屏，使得用户无法看清文件的内容，此时可以使用more命令，每次只显示一页，按下空格键可以显示下一页，按下q键退出显示，按下h键可以获取帮助。

3.15 管道：|

管道：一个命令的输出可以通过管道做为另一个命令的输入。

管道我们可以理解现实生活中的管子，管子的一头塞东西进去，另一头取出来，这里“ | ”的左右分为两端，左端塞东西(写)，右端取东西(读)。

3.16 建立链接文件：ln

Linux链接文件类似于Windows下的快捷方式。

链接文件分为软链接和硬链接。

软链接：软链接不占用磁盘空间，源文件删除则软链接失效。

硬链接：硬链接只能链接普通文件，不能链接目录。

使用格式：

ln 源文件 链接文件
ln -s 源文件 链接文件

如果没有-s选项代表建立一个硬链接文件，两个文件占用相同大小的硬盘空间，即使删除了源文件，链接文件还是存在，所以-s选项是更常见的形式。

注意：如果软链接文件和源文件不在同一个目录，源文件要使用绝对路径，不能使用相对路径。

3.17 文本搜索：grep

Linux系统中grep命令是一种强大的文本搜索工具，grep允许对文本文件进行模式查找。如果找到匹配模式， grep打印包含模式的所有行。

grep一般格式为：

grep [-选项] ‘搜索内容串’文件名
在grep命令中输入字符串参数时，最好引号或双引号括起来。

例如：

grep ‘a’ 1.txt
常用选项说明：

选项	含义
-v	显示不包含匹配文本的所有行（相当于求反）
-n	显示匹配行及行号
-i	忽略大小写
grep	搜索内容串可以是正则表达式。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

grep常用正则表达式：

参数	含义
^a	行首,搜寻以 m 开头的行；grep -n ‘^a’ 1.txt
ke$	行尾,搜寻以 ke 结束的行；grep -n ‘ke$’ 1.txt
[Ss]igna[Ll]	匹配 [] 里中一系列字符中的一个；搜寻匹配单词signal、signaL、Signal、SignaL的行；grep -n ‘[Ss]igna[Ll]’ 1.txt
.	(点)匹配一个非换行符的字符；匹配 e 和 e 之间有任意一个字符，可以匹配 eee，eae，eve，但是不匹配 ee，eaae；grep -n ‘e.e’ 1.txt

3.18 查找文件：find

find命令在目录结构中搜索文件，并对搜索结果执行指定的操作。

find 默认搜索当前目录及其子目录，并且不过滤任何结果（也就是返回所有文件），将它们全都显示在屏幕上。

常用用法：

命令	含义
find ./ -name test.sh	查找当前目录下所有名为test.sh的文件
find ./ -name ‘*.sh’	查找当前目录下所有后缀为.sh的文件
find ./ -name “[A-Z]*”	查找当前目录下所有以大写字母开头的文件
find /tmp -size 2M	查找在/tmp 目录下等于2M的文件
find /tmp -size +2M	查找在/tmp 目录下大于2M的文件
find /tmp -size -2M	查找在/tmp 目录下小于2M的文件
find ./ -size +4k -size -5M	查找当前目录下大于4k，小于5M的文件
find ./ -perm 777	查找当前目录下权限为 777 的文件或目录

3.19 文件压缩解压：zip、unzip

通过zip压缩文件的目标文件不需要指定扩展名，默认扩展名为zip。

压缩文件：zip [-r] 目标文件(没有扩展名) 源文件
解压文件：unzip -d 解压后目录文件 压缩文件

3.20 修改文件权限：chmod

数字法：“rwx” 这些权限用数字来代替

字母	说明
r	读取权限，数字代号为 “4”
w	写入权限，数字代号为 “2”
x	执行权限，数字代号为 “1”
-	不具任何权限，数字代号为 “0”

chmod 751 file： rwx + r-x + --x

文件所有者：读、写、执行权限
同组用户：读、执行的权限
其它用户：执行的权限

注意：如果想递归所有目录加上相同权限，需要加上参数“ -R ”。 如：chmod 777 test/ -R 递归 test 目录下所有文件加 777 权限

3.21 修改文件权限：chmod

Vim 的基本使用
1）命令模式
打开文件，默认进入此模式，是通过命令的方式对文件进行编辑

快捷命令	说明
dd	删除
yy	复制
p	粘贴
u	撤销
gg	移动到文档头部
G	移动到文档尾部
/**	表示搜索**内容，n 下一个，N上一个

2）插入模式，编辑模式
​ 在命令模式中按i或者a进入插入模式，可编辑文本。
​ 按esc退出编辑模式，进入命令模式
3）末行模式
命令模式按 : 进入末行模式，末行模式可在末行输入命令来管理文件，比如保存和退出文件

命令	说明
:w	保存文件
:q	退出vim模式
:wq	保存并退出
:q!	不保存退出
:25	定位到25行
:set number/nonumber	显示行号和隐藏行号

3.22 hive命令以及 hadoop 命令

任意位置输入 hive 即可进入hive数据库
查看hdfs 文件系统的目录结构：

hadoop fs -ls /

3.23 shell 脚本的使用

shell 脚本就是把linux 代码放到一起执行，达到实现一些自动化的目的。

shell 脚本也是一种代码，也有变量、循环、判断等语法，不过知识点太多，建议大家用到的时候查询使用，这里点到为止。

3.23 nohup命令的使用

nohup命令及其输出文件
用途：不挂断地运行命令。 语法：nohup Command [ Arg … ] [　& ] 描述：nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。

操作系统中有三个常用的流：

• 0：标准输入流 stdin
• 1：标准输出流 stdout
• 2：标准错误流 stderr

一般当我们用 > console.txt，实际是 1>console.txt的省略用法；< console.txt ，实际是 0 < console.txt的省略用法。

示例： 注意一定要有最后面的 & 符号

nohup sh runshell.sh >runshell.log 2>&1 &

解释：
带&的命令行，即使terminal（终端）关闭，或者电脑死机程序依然运行（前提是你把程序递交到服务器上)；

2>&1的意思
　　这个意思是把标准错误重定向到标准输出中，而标准输出是导出到 runshell.log 里面，所以结果是标准错误和标准输出都导入文件output里面了。 至于为什么需要将标准错误重定向到标准输出的原因，那就归结为标准错误没有缓冲区，而stdout有。这就会导致 >runshell.log 2>runshell.log 文件runshell.log被两次打开，而stdout和stderr将会竞争覆盖，这肯定不是我们想要的.

这就是为什么有人会写成： nohup ./command.sh >command.log 2>command.log出错的原因了