大数据之路
Shell 编程
1.shell操作linux的桥梁
创建:
后缀为.sh的文件
编写:
头部注释为#!/bin/sh或者#!/bin/bash(注释可写可不写,建议写上)
运行:
1.通过sh命令执行
例如:sh helloworld.sh
2.通过bash命令执行
例如:bash helloworld.sh
3.通过把文件修改为可执行的文件然后通过./文件命令.sh来执行
例如:./helloworld.sh(必须在当前目录下)
通过chmod命令修改文件权限
2.变量(动态数据类型,没有数据类型的限制,并且必须初始化)
定义和初始化
格式
变量名称=值
例如:
x=10 "abc edefg"
注意:
等号两边不能有空格
使用:通过$区分变量还是一句话
格式1:
$变量
格式2:
${变量}
注意:
格式1,会把$后所有相连内容看做一个变量
格式2,${}表示值引用{}之中的内容分,对相连的内容做了一个区分
3.$0...$n:表示接收外部参数(执行脚本时,传递的参数)
格式:
$下标
注意:
$0永远表示脚本名称(所以脚本名称不算数,$0也不算第一个参数)
下标大于一位数只能使用${}获取参数,因为$下标只把第一位数据看做下标
$*获取所有参数
$#获取所有参数个数
参数个数不包括0位
在使用外部参数是 $0代表的永远是脚本的名称,并且系统只会识别个位数表示的可变参数,所以第十位识别的是第一位的可变参数,这个时候就要在脚本中对10打上大括号,这样就可以识别多位数的外部参数
-
引号:
单引号:安原字符串输出
双引号:可以引用变量,拥有特殊含义的内容
拼接:连续获取变量
注意:
如果有多个引号,连续的形成一对
引号中使用其他引号,其他引号做字符串使用
注意 在shell脚本中如果连续使用双引号或单引号 那么会从左往右进行判定,所以在shell脚本中,单引号和双引号必须成出现
5.字符串
获取长度
格式:
${#变量}
截取:
格式:
${变量:开始位置:长度}
注意:
${str::5}:从0获取5个
${str:0}:从0获取到末尾
替换单个
格式:
${变量/旧/新}
注意:从左向右替换第一个
替换所有
格式:
${变量//旧/新}
注意:替换不会再原字符上进行修改,想要修改原字符串只能从新赋值
删除
从头开始删除
${变量#表达式}:匹配第一个删除
${变量##表达式}:匹配最后一个删除
从尾开始删除
${变量%表达式}:匹配第一个删除
${变量%%表达式}:匹配最后一个删除
注意:从未开始删除,表达式还是从左向右去写
删除不会再原字符上进行修改,想要修改原字符串只能从新赋值
注意:此时匹配无论是从头开始还是从尾开始,都无法直接删除字符串中间的内容,并且一旦匹配失败就会立刻中断,表达式的内容服从正则表达式并且匹配的模式均是从左到右
6.运算符
算术运算符
bash不支持简单的数学运算,可以通过命令实现expr
格式1:
expr 值 + 值
注意:符号两边需要加上空格,并且是反引号
格式2:
$[值+值]
比较运算符: > < >= <=....
格式:
$值符号值
注意:比较的结果用1(true)和0(false)表示
逻辑运算符: &/and |/or !/not
例如:
#判断2>1结果
echo $[2 > 1]
#反转2>1结果
echo $[!$[2>1]]
# 反转后面的结果2>1 and 2>3 false0
echo $[!$[$[2>1]&$[2>3]]]
echo $[2>1 & 2<1]
7.if语句
格式1:
if 判断条件
then
判断为true执行的代码
fi
格式2:
if 判断条件
then
判断为true执行的代码
else
判断为false执行的代码
fi
格式3:
if 判断条件
then
判断为true执行的代码
elif 判断条件
then
判断为true执行的代码
。。。
else
判断为false执行的代码
fi
注意:else可加可不加
判断条件的写法
运算符 说明 举例 -eq 检测两个数是否相等,相等返回 true。 [ $a -eq $b ] 返回 false。 -ne 检测两个数是否不相等,不相等返回 true。 [ $a -ne $b ] 返回 true。 -gt 检测左边的数是否大于右边的,如果是,则返回 true。 [ $a -gt $b ] 返回 false。 -lt 检测左边的数是否小于右边的,如果是,则返回 true。 [ $a -lt $b ] 返回 true。 -ge 检测左边的数是否大于等于右边的,如果是,则返回 true。 [ $a -ge $b ] 返回 false。 -le 检测左边的数是否小于等于右边的,如果是,则返回 true。 [ $a -le $b ] 返回 true。
[]:[]两边加空格,符号两边加空格并且符号前加转义符
可以使用字母
注意:此时在运用转义符来书写判断条件时,比较的是数字第一位的ASCII值,比如100的值为1。
并且在书写判断条件时,逻辑运算符,数字,中括号之间必须要有空格,否则条件就会出错
[[]]:[[]]两边加空格,符号两边加空格
可以使用字母
在使用两个中括号时,使用大于号小于号符号时可以不使用转义字符,并且在使用数字时,比较的也还是数字第一位的ASCII码值。中括号,运算符,数字之间也同样需要空格
():弃用
(()):不需要加空格,但是不能使用字母
在使用变量时,不需要使用$
两个小括号的写法是最常见的,因为括号里的条件写法完全与Java中的相同
8.for
java格式:
for ((初始化变量;判断条件;控制语句))
do
执行语句
done
python格式:
for 变量 in 结果集
do
执行语句
done
结果集:
{开始..结束}含头含尾,不能引用变量
seq 开始 结束
含头含尾
例如:获取1-100的奇数和偶数和
jsum=0
osum=0
for i in {1..100}
do
if ((${i}%2==0))
then
#osum+=${i} 结果做了拼接 不是算术运算
#osum=expr ${i} + ${osum}
#osum=$[${i}+${osum}]
let osum+=i
else
let jsum+=i
fi
done
echo 偶数和为:${osum}
echo 奇数和为:${jsum}
注意:
使用let在计算时可以直接使用变量
注意:使用seq 和{} 作为结果集时,{}里只能手动去填写数字作为判定条件,而seq可以引用变量去书写判定条件
9.read:键盘录入
格式:
read 变量1 变量2 ...变量n
注意:
键盘录入时,允许给多个变量进行赋值,值和值之间以空格切分
打印三角形
for i in {1..5}
do
for j in seq 1 ${i}
do
echo -n "* "
done
echo ""
done
-
数组:存储多个元素,数据类型可以不同,元素元素之间以空格切分
操作
通过下标获取数据
格式:
${数组[下标]}
注意:
直接引用数组变量,默认获取下标为0的元素
下标使用*表示获取所有
获取长度:
格式:
${#数组[*]}
单独输出数组默认输出数组中下标为0的元素
11.函数
格式:
function 方法名(){
方法体
return 数字;
}
fun() 方法体所接受的参数就像上图外界参数一样,放在函数尾部,与外部参数一样的写法,但无论是方法体还是方法外,$0代表的永远都是文件名
注意:function和return可加可不加
$0...$n表示接收参数,$0永远是脚本名称(忽略)
方法的调用直接使用方法名不加()
return只能返回数字范围在0-255之间
$?接收返回值只能接收一次
此时控制面板所显示的数字为return后面的数字减去256的绝对值,return返回值的意义时判断函数是否执行成功,如果同时输出两个 $? 那么这时只有第一个在控制面版上的值是正确的,而第二个则是0。
12.获取当前日期时间
ate +"%Y-%m-%d %H:%M:%S"
格式化日期时间:
date -d today +"%Y-%m-%d %H:%M:%S"
加减日期时间
date +%Y%m%d //显示前天年月日
date +%Y%m%d --date="+1 day" //显示前一天的日期
date +%Y%m%d --date="-1 day" //显示后一天的日期
date +%Y%m%d --date="-1 month" //显示上一月的日期
date +%Y%m%d --date="+1 month" //显示下一月的日期
date +%Y%m%d --date="-1 year" //显示前一年的日期
date +%Y%m%d --date="+1 year" //显示下一年的日期
13.重定向:执行命令的结果写写入到文件
标准输入文件(stdin):stdin的文件描述符为0,默认从stdin读取数据。
标准输出文件(stdout):stdout 的文件描述符为1,默认向stdout输出数据。
标准错误文件(stderr):stderr的文件描述符为2,向stderr流中写入错误信息。
使用>,>>默认是把正确信息写入文件
想要把错误信息和正确信息写入文件需要后面追加2>&1(把错误信息当做正确信息去处理)
14.定时器:
格式:
*(分钟) *(小时) *(星期) *(几号) *(月份) commend
通过crontab -e添加定时任务
查看定时任务是否执行了,看日志tail -f /var/log/cron
注意:
定时器或脚本中涉及到路劲的全部给绝对路劲
* * * * * 每分钟
*/1 * * * * 每分钟
0 */1 * * * 每小时