【大数据开发阶段四】linux和shell

一、Linux基础入门

1、Linux常用命令

cd｜pwd｜ls｜alias（对操作定义别名）｜mkdir｜rmdir｜touch｜cp｜rm｜mv｜cat、more、less、head、tail｜echo｜ln(软硬连接)｜history

2、文件打包压缩

tar（归档和压缩） -zcvf  -zxvf

gzip和gunzip（压缩）

3、文件权限

u：文件所有者｜g：文件所属组｜o：其他人

文件类型 属主权限 属组权限 其他权限

-（文件）d（目录）l（链接文档）r（读）w（写）x（执行）

文件权限修改chmod

r-->4,w-->2,x-->1

chmod 777(代表所有权限都为rwx)

文件所有者改变

chown 

4、日期时间类命令

date

5、进程

ps

kill

top（实时监控）

二、生产任务管理类

1.crontab系统定时任务

crontab -e用来编辑任务

crontab -l 用来查看

2.nohup（后台执行）

查看后台任务jobs

三、文件/命令等搜索类

1.which

查看可执行文件的位置

2.whereis

查找程序（命令）

3.locate

快速定位文件路径

4.find

find -name

find -type 

5.grep过滤查找及｜管道符

四、linux软件包管理

1.yum仓库与软件管理

yum源的配置管理

/etc/yum。repos。d/

五、linux文本编辑器

vim

六、shell编程

1.#！/bin/bash（开头，指定解释器）

2.bash / sh 脚本文件.sh

3.$用来使用变量，使用{}将变量包围以便区分边界

4.单引号会直接以字符串形式输出里面的内容

5.双引号先解析里面的变量和命令

6.将命令结果或命令赋给变量值：

        变量 = `命令`

        变量 = $(命令)

7.命令行参数

$1表示接收的第一个参数，$2表示第二个，以此类推

8.特殊变量

$0 :当前文件名

$#:传递参数的个数

$*传递的所有参数 

9.字符串

获取长度：${# }

截取：1.从左开始截取${string : start : length }

            2.从右开始截取${string : 0-start:length}

             3.从左往右指定字符 ${string#*chars}

 10.数组

arr = （1 2 4 。。。。）

分隔符是空格

11.运算符

        1.用expr 或$[]进行运算

        2.关系运算符

                -lt -le -gt -ge -eq -ne 使用[ ]

        3.逻辑运算符

                && 和｜｜

12.流程控制

        if  [ ]

        then

        elif [] ;then

        else

        fi

13.循环

        while []

        do

        done

14.函数

 function f_name(){

[return values]

}

15.read和print/printf

read：读取从命令行输入的内容

printf是bash内置命令

16.文本处理三件客

grep：适合单纯查找或匹配文本

sed：编辑匹配到的文本

  不会修改原本数据，如果要保存修改结果，需要重定向

awk：适合格式化文本，对文本进行复杂格式处理