linux终端数据全部复制,数据分析常用的22个linux命令

此系列文章是《数据蛙三个月就业班》adventure电商分析案例的总结，如要了解此项目，参考adventure电商分析项目总结(2020版本)整个案例包括linux、shell、python、hive、pycharm、git、pyechart、sqoop等的使用，为了让就业班同学能够更好的学习，所以对上面大家有疑问的内容进行了总结。本片是linux常用22命令总结

阅读顺序:

Windows 和 Linux 文件系统区别

Linx的命令格式

22个Linux 常用命令

一、Windows 和 Linux 文件系统区别

在 Windows 下，打开 “计算机”，我们看到的是一个个的驱动器盘符：

每个驱动器都有自己的根目录结构，这样形成了多个树并列的情形，如图所示：

linux 没有盘符这个概念，只有一个根目录 /，所有文件都在它下面

说下课程中常用的几个目录

/：根目录

一般根目录下只存放目录，在 linux 下有且只有一个根目录，所有的东西都是从这里开始，当在终端里输入 /home，其实是在告诉电脑，先从 /(根目录)开始，再进入到 home 目录

/opt

给主机额外安装软件所摆放的目录

/tmp

一般用户或正在执行的程序临时存放文件的目录，任何人都可以访问，重要数据不可放置在此目录下

二、Linx的命令格式

1. 终端命令格式

command [-options] [parameter]

说明：

command：命令名，相应功能的英文单词或单词的缩写

[-options]：选项，可用来对命令进行控制，也可以省略

parameter：传给命令的参数，可以是 零个、一个 或者 多个

[] 代表可选

2.终端命令提示符介绍

root用户登录，root用户理解为权限最大的管理员

下面来看下使用froghd用户登录服务器的界面

上图中base字样，安装 aconda 后Linux的终端界面前部会出现,表示python运行的环境，使用conda env list可以看到python 的两个运行环境

base 是平常写python代码来使用的，hive_37是python连接hive 来使用的环境；instance-grq6ue3 表示主机名；~ 是当前用户默认进入的路径，~是家目录的简写；$:是普通用户， #:是超级用户

三、22个Linux常用命令

1. 查看文件信息：ls

ls是英文单词list的简写，其功能为列出目录的内容，是用户最常用的命令之一

Linux文件或者目录名称最长可以有265个字符，

“.”代表当前目录，

“..”代表上一级目录，

以“.”开头的文件为隐藏文件，需要用 -a 参数才能显示。

ls常用参数：

参数

含义

-a

显示指定目录下所有子目录与文件，包括隐藏文件

-l

以列表方式显示文件的详细信息

-h

配合 -l 以人性化的方式显示文件大小

图中列出的信息含义如下图所示：

2.清屏:clear

clear作用为清除终端上的显示，就是屏幕上命令写多了，希望能够有个崭新的页来写，也可使用快捷键：Ctrl + l ( “l” 为字母 )。

3.切换工作目录:cd

在使用Unix/Linux的时候，经常需要更换工作目录。cd命令可以帮助用户切换工作目录。Linux所有的目录和文件名大小写敏感

cd后面可跟绝对路径，也可以跟相对路径。如果省略目录，则默认切换到当前用户的主目录。

命令

含义

cd

切换到当前用户的主目录(/home/用户目录)，用户登陆的时候，默认的目录就是用户的主目录。

cd ~

切换到当前用户的主目录(/home/用户目录)

cd .

切换到当前目录

cd ..

切换到上级目录

cd -

可进入上次所在的目录

注意：

如果路径是从根路径开始的，则路径的前面需要加上 “ / ”，如 “ /mnt ”，通常进入某个目录里的文件夹，前面不用加 “ / ”。

4.显示当前路径：pwd

使用pwd命令可以显示当前的工作目录，该命令很简单，直接输入pwd即可，后面不带参数。

5.创建目录：mkdir

通过mkdir命令可以创建一个新的目录。参数-p可递归创建目录。

需要注意的是新建目录的名称不能与当前目录中已有的目录或文件同名，并且目录创建者必须对当前目录有写的权限。

image.png

6.创建文件: touch

用户可以通过touch来创建一个空的文件，demo如下：

touch hello.txt

说明：

则会在当前路径下创建名字为hello.txt的空文件

Linux系统中没有严格的后缀(格式)，所以创建文件时可以命名为任意的文件名

7.删除文件：rm

可通过rm删除文件或目录。使用rm命令要小心，因为文件删除后不能恢复。为了防止文件误删，可以在rm后使用-i参数以逐个确认要删除的文件。

常用参数及含义如下表所示：

参数

含义

-i

以进行交互式方式执行

-f

强制删除，忽略不存在的文件，无需提示

-r

递归地删除目录下的内容，删除文件夹时必须加此参数

8.拷贝：cp

cp命令的功能是将给出的文件或目录复制到另一个文件或目录中

常用选项说明： cp [options] 源文件 目标位置

选项

含义

-f

已经存在的目标文件而不提示

-i

交互式复制，在覆盖目标文件之前将给出提示要求用户确认

-r

若给出的源文件是目录文件，则cp将递归复制该目录下的所有子目录和文件，目标文件必须为一个目录名。

-v

显示拷贝进度

image.png

9.mv：移动、重命名

用户可以使用mv命令来移动文件或目录，也可以给文件或目录重命名。

常用选项说明：

选项

含义

-f

禁止交互式操作，如有覆盖也不会给出提示

-i

确认交互方式操作，如果mv操作将导致对已存在的目标文件的覆盖，系统会询问是否重写，要求用户回答以避免误覆盖文件

-v

显示移动进度

10.tree：查看文件结构

tree 查看路径的所有文件夹结构，会把子层目录也显示出来

11.history：查看历史命令

查看历史命令，如果有一个命令你想重复使用，那就引用就可以了

12. 输出重定向命令

Linux允许将命令执行结果重定向到一个文件，本应显示在终端上的内容保存到指定文件中。如：ls > test.txt ( test.txt 如果不存在，则创建，存在则覆盖其内容 )

注意： >输出重定向会覆盖原来的内容，>>输出重定向则会追加到文件的尾部。

13. 查看或者合并文件内容：cat

查看文件的内容，可以结合重定向符来合并文件

14. 分屏显示：more

查看内容时，在信息过长无法在一屏上显示时，会出现快速滚屏，使得用户无法看清文件的内容，此时可以使用more命令，每次只显示一页，按下空格键可以显示下一页，按下q键退出显示，按下h键可以获取帮助。

15. 管道：|

管道：一个命令的输出可以通过管道做为另一个命令的输入。

管道我们可以理解现实生活中的管子，管子的一头塞东西进去，另一头取出来，这里“ | ”的左右分为两端，左端塞东西(写)，右端取东西(读)。

16. 建立链接文件：ln

Linux链接文件类似于Windows下的快捷方式。

链接文件分为软链接和硬链接。

软链接：软链接不占用磁盘空间，源文件删除则软链接失效。

硬链接：硬链接只能链接普通文件，不能链接目录。

使用格式：

ln 源文件 链接文件

ln -s 源文件 链接文件

如果没有-s选项代表建立一个硬链接文件，两个文件占用相同大小的硬盘空间，即使删除了源文件，链接文件还是存在，所以-s选项是更常见的形式。

注意：如果软链接文件和源文件不在同一个目录，源文件要使用绝对路径，不能使用相对路径。

17. 文本搜索：grep

Linux系统中grep命令是一种强大的文本搜索工具，grep允许对文本文件进行模式查找。如果找到匹配模式， grep打印包含模式的所有行。

grep一般格式为：

grep [-选项] ‘搜索内容串’文件名

在grep命令中输入字符串参数时，最好引号或双引号括起来。

例如：

grep 'a' 1.txt

常用选项说明：

选项

含义

-v

显示不包含匹配文本的所有行(相当于求反)

-n

显示匹配行及行号

-i

忽略大小写

grep搜索内容串可以是正则表达式。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

grep常用正则表达式：

参数

含义

^a

行首,搜寻以 m 开头的行；grep -n '^a' 1.txt

ke$

行尾,搜寻以 ke 结束的行；grep -n 'ke$' 1.txt

[Ss]igna[Ll]

匹配 [] 里中一系列字符中的一个；搜寻匹配单词signal、signaL、Signal、SignaL的行；grep -n '[Ss]igna[Ll]' 1.txt

.

(点)匹配一个非换行符的字符；匹配 e 和 e 之间有任意一个字符，可以匹配 eee，eae，eve，但是不匹配 ee，eaae；grep -n 'e.e' 1.txt

18. 查找文件：find

find命令功能非常强大，通常用来在特定的目录下搜索符合条件的文件，也可以用来搜索特定用户属主的文件。

常用用法：

命令

含义

find ./ -name test.sh

查找当前目录下所有名为test.sh的文件

find ./ -name '*.sh'

查找当前目录下所有后缀为.sh的文件

find ./ -name "[A-Z]*"

查找当前目录下所有以大写字母开头的文件

find /tmp -size 2M

查找在/tmp 目录下等于2M的文件

find /tmp -size +2M

查找在/tmp 目录下大于2M的文件

find /tmp -size -2M

查找在/tmp 目录下小于2M的文件

find ./ -size +4k -size -5M

查找当前目录下大于4k，小于5M的文件

find ./ -perm 777

查找当前目录下权限为 777 的文件或目录

19. 文件压缩解压：zip、unzip

通过zip压缩文件的目标文件不需要指定扩展名，默认扩展名为zip。

压缩文件：zip [-r] 目标文件(没有扩展名) 源文件

解压文件：unzip -d 解压后目录文件 压缩文件

20. 修改文件权限：chmod

数字法：“rwx” 这些权限用数字来代替

字母

说明

r

读取权限，数字代号为 "4"

w

写入权限，数字代号为 "2"

x

执行权限，数字代号为 "1"

-

不具任何权限，数字代号为 "0"

chmod 751 file： rwx + r-x + --x

文件所有者：读、写、执行权限

同组用户：读、执行的权限

其它用户：执行的权限

注意：如果想递归所有目录加上相同权限，需要加上参数“ -R ”。 如：chmod 777 test/ -R 递归 test 目录下所有文件加 777 权限

21.Vim 的基本使用

a.命令模式

打开文件，默认进入此模式，是通过命令的方式对文件进行编辑

快捷命令

说明

dd

删除

yy

复制

p

粘贴

u

撤销

gg

移动到文档头部

G

移动到文档尾部

/**

表示搜索**内容，n 下一个，N上一个

b.插入模式，编辑模式

​ 在命令模式中按i或者a进入插入模式，可编辑文本。

​ 按esc退出编辑模式，进入命令模式

c.末行模式

命令模式按 : 进入末行模式，末行模式可在末行输入命令来管理文件，比如保存和退出文件

命令

说明

:w

保存文件

:q

退出vim模式

:wq

保存并退出

:q!

不保存退出

:25

定位到25行

:set number/nonumber

显示行号和隐藏行号

22. hive命令以及 hadoop 命令

任意位置输入 hive 即可进入hive数据库

查看hdfs 文件系统的目录结构：

23.shell 脚本的使用

shell 脚本就是把linux 代码放到一起执行，达到实现一些自动化的目的。

shell 脚本也是一种代码，也有变量、循环、判断等语法，不过知识点太多，建议大家用到的时候查询使用，这里点到为止。参考数据分析工作中shell脚本的使用