Linux的shell编程、环境搭建、Zookeeper介绍

最新推荐文章于 2022-01-31 11:07:22 发布

smalllllerr

最新推荐文章于 2022-01-31 11:07:22 发布

阅读量120

点赞数

分类专栏：学习笔记

本文链接：https://blog.csdn.net/Tracy19970428/article/details/106272283

版权

学习笔记专栏收录该内容

79 篇文章 0 订阅

订阅专栏

Shell编程

Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。
Shell script 是一种为 shell 编写的脚本程序。 Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。
Shell 编程跟 java、 php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Linux 的 Shell 种类众多，一个系统可以存在多个 shell，可以通过 cat/etc/shells 命令查看系统中安装的 shell。
Bash 由于易用和免费，在日常工作中被广泛使用。同时， Bash 也是大多数Linux 系统默认的 Shell。

Shell文件的基本格式

使用 vi 编辑器新建一个文件 hello.sh。扩展名并不影响脚本执行，见名知意。比如用 php 写 shell 脚本，扩展名就用 .php。

#!/bin/bash
echo "Hello World !"

#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。
echo 命令用于向窗口输出文本。
Shell 脚本的执行：
chmod +x ./hello.sh #使脚本具有执行权限
./hello.sh #执行脚本
直接写 hello.sh， linux系统会去PATH里寻找有没有叫 hello.sh的。用 ./hello.sh 告诉系统说，就在当前目录找。
还可以作为解释器参数运行。直接运行解释器，其参数就是 shell 脚本的文件名，如：
/bin/sh /root/hello.sh
/bin/php test.php
这种方式运行脚本，不需要在第一行指定解释器信息，写了也不生效

Shell变量

语法格式

变量＝值，如： your_name=“itcast.cn”

注意：变量名和等号之间不能有空格，同时，变量名的命名须遵循如下规则：
（1）首个字符必须为字母（ a-z， A-Z）
（2）中间不能有空格，可以使用下划线（ _）
（3）不能使用标点符号
（4）不能使用 bash 里的关键字（可用 help 命令查看保留关键字）

变量使用

使用一个定义过的变量，只要在变量名前面加 $ 即可。
your_name=“itcast.cn”
echo $your_name
echo ${your_name}

花括号是可选的，加不加都行，加花括号是为了帮助解释器识别变量的边界。
已定义的变量，可以被重新定义。
使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。
使用 unset 命令可以删除变量。不能删除只读变量。
readonly variable_name
unset variable_name

变量类型

局部变量

局部变量在脚本或命令中定义，仅在当前 shell 实例中有效，其他 shell 启动的程序不能访问局部变量。

环境变量

所有的程序，包括 shell 启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。可以用过 set 命令查看当前环境变量。

shell 变量

shell 变量是由 shell 程序设置的特殊变量。 shell 变量中有一
部分是环境变量，有一部分是局部变量，这些变量保证了 shell 的正常运行

参数传递

在执行 Shell 脚本时，可以向脚本传递参数。
脚本内获取参数的格式为： $n。 n 代表一个数字， 1 为执行脚本的第一个参数， 2 为执行脚本的第二个参数，以此类推…… $0 表示当前脚本名称。

特殊字符

在这里插入图片描述

# 例子：
#!/bin/bash
echo "第一个参数为： $1";
echo "参数个数为： $#";
echo "传递的参数作为一个字符串显示： $*";
#执行脚本： 
./test.sh 1 2 3

$*和$@区别
相同点：都表示传递给脚本的所有参数。
不同点：
不被" “包含时， $*和 $@都以 $1 $2… $n 的形式组成参数列表。
被” “包含时， “$*” 会将所有的参数作为一个整体，以”$1 $2 … $n"
的形式组成一个整串； “$@” 会将各个参数分开，以"$1" “$2” … “$n” 的
形式组成一个参数列表。

Shell运算符

Shell 和其他编程语音一样，支持包括：算术、关系、布尔、字符串等运算符。原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如expr。 expr 是一款表达式计算工具，使用它能完成表达式的求值操作。例如加，减，乘，除等操作

注意：表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。
完整的表达式要被 ` ` 包含，注意不是单引号，在 Esc 键下边。
示例

#!/bin/bash
echo "hello world"
a=4
b=20
#加法运算
echo `expr $a + $b`
#减法运算
echo `expr $b - $a`
#乘法运算，注意*号前面需要反斜杠
echo `expr $a \* $b`

#除法运算
echo `expr $b / $a`

# 注意：
# 此外，还可以通过(())、 $[]进行算术运算。
count=1
((count++))
echo $count
a=$((1+2))
a=$[1+2]

流程控制

if else 语句

if condition1
then
command1
elif condition2
then
command2
else
commandN
fi

条件表达式写法
EQ 就是 EQUAL等于
NQ 就是 NOT EQUAL不等于
GT 就是 GREATER THAN大于　
LT 就是 LESS THAN小于
GE 就是 GREATER THAN OR EQUAL 大于等于
LE 就是 LESS THAN OR EQUAL 小于等于

#!/bin/bash

a=10
b=20

if [ $a -eq $b ]
then
   echo "$a -eq $b : a 等于 b"
else
   echo "$a -eq $b: a 不等于 b"
fi
if [ $a -ne $b ]
then
   echo "$a -ne $b: a 不等于 b"
else
   echo "$a -ne $b : a 等于 b"
fi
if [ $a -gt $b ]
then
   echo "$a -gt $b: a 大于 b"
else
   echo "$a -gt $b: a 不大于 b"
fi
if [ $a -lt $b ]
then
   echo "$a -lt $b: a 小于 b"
else
   echo "$a -lt $b: a 不小于 b"
fi
if [ $a -ge $b ]
then
   echo "$a -ge $b: a 大于或等于 b"
else
   echo "$a -ge $b: a 小于 b"
fi
if [ $a -le $b ]
then
   echo "$a -le $b: a 小于或等于 b"
else
   echo "$a -le $b: a 大于 b"
fi

for循环

方式一

for N in 1 2 3
do
echo $N
done
# 或
for N in 1 2 3; do echo $N; done
# 或
for N in {1..3}; do echo $N; done

方式二

for ((i = 0; i <= 5; i++))
do
echo "welcome $i times"
done
# 或
for ((i = 0; i <= 5; i++)); do echo "welcome $i times"; done

e.g. 需求：使用for循环打印数字以及当前系统所有进程

#!/bin/bash
#循环打印 1 2 3这三个数字
for N in 1 2 3
do
 echo $N
done
a=1
b=2
c=3
for N in  $a $b $c
do
 echo $N
done
#打印当前系统所有进程
for N in `ps -ef`
do 
 echo $N
done

while语法

方式一

while expression
do
command
…
done

方式二：

#!/bin/bash
i=1
while (( i <= 3))
do 
 let i++
 echo $i
done

#echo $i
let 命令是 BASH 中用于计算的工具，用于执行一个或多个表达式，变量
计算中不需要加上 $ 来表示变量。自加操作： let no++ 自减操作： let no–
方式三：无限循环

while true
do
command
done

case语句

case 值 in
# 模式 1)
command1
command2
...
commandN
;;
# 模式 2）
command1
command2
...
commandN
;;
esac

使用case语句实现交互会话

#!/bin/bash
echo '输入 1 到 4 之间的数字:'
echo '你输入的数字为:'
read aNum
case $aNum in
    1)  echo '你选择了 1'
    ;;
    2)  echo '你选择了 2'
    ;;
    3)  echo '你选择了 3'
    ;;
    4)  echo '你选择了 4'
    ;;
    *)  echo '你没有输入 1 到 4 之间的数字'
    ;;
esac

函数使用

所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell 解释器首次发现它时，才可以使用。调用函数仅使用其函数名即可。

[ function ] funname [()]
{
action;
[return int;]
}

（1）可以带 function fun()定义，也可以直接 fun() 定义,不带任何参数。
（2）参数返回，可以显示加 return ，如果不加，将以最后一条命令运行结果，作为返回值。 return 后跟数值 n(0-255)。

函数参数

在 Shell 中，调用函数时可以向其传递参数。在函数体内部，通过 $n 的形式来获取参数的值，例如， $1 表示第一个参数， $2 表示第二个参数…
注意，当 n>=10 时，需要使用${n}来获取参数。

funWithParam(){
echo "第一个参数为 $1 !"
echo "第二个参数为 $2 !"
echo "第十个参数为 $10 !"
echo "第十个参数为 ${10} !"
echo "第十一个参数为 ${11} !"
echo "参数总数有 $# 个!"
echo "作为一个字符串输出所有参数 $* !"
}

funWithParam 1 2 3 4 5 6 7 8 9 34 73

定义我们自己的函数并在shell脚本当中调用函数

#!/bin/bash
hello(){
 echo "hello world"
 echo "第一个参数为 $1"
 echo "第二个参数为 $2"
}
hello abc 123

Linux环境搭建

三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

service iptables stop
chkconfig iptables off

三台机器关闭selinux

vim /etc/selinux/config

在这里插入图片描述

三台机器更改主机名

vim /etc/sysconfig/network

在这里插入图片描述

三台机器做主机名与IP地址的映射

vim /etc/hosts

192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03

在这里插入图片描述

三台机器重启

reboot  -h  now

三台机器机器免密码登录

三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥

ssh-keygen -t rsa

在这里插入图片描述

拷贝公钥到同一台机器

三台机器将拷贝公钥到第一台机器
三台机器执行命令：

ssh-copy-id node01.hadoop.com

复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上
在第一天机器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

在这里插入图片描述

三台机器时钟同步

通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
ntpdate us.pool.ntp.org;
阿里云时钟同步服务器
ntpdate ntp4.aliyun.com
三台机器定时任务

crontab  -e   
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接与阿里云服务器进行时钟同步

crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

三台机器安装jdk

#!/bin/bash

# 解压安装包
tar -zxvf /export/softwares/jdk-8u201-linux-x64.tar.gz -C /export/servers/


# 配置第一台的环境变量
cd /export/servers/jdk*
mypath=`pwd`


echo "export JAVA_HOME=$mypath" >> /etc/profile
echo "export PATH=\$JAVA_HOME/bin:\$PATH" >> /etc/profile


# 安装第二台、第三台的jdk

for m in 2 3
do
 scp -r /export/servers/jdk* node0$m:/export/servers
done

# 配置第二台第三台环境变量
for n in 2 3
do
 ssh node0$n "echo 'export JAVA_HOME=$mypath' >> /etc/profile; echo 'export PATH=:\$JAVA_HOME/bin:\$PATH' >> /etc/profile"
done

zookeeper的介绍

ZooKeeper 概述

Zookeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。
ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。诸如：统一命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列（sub/pub）、分布式锁、分布式协调等功能。

zookeeper的架构图

在这里插入图片描述
Leader:
Zookeeper 集群工作的核心
事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；
集群内部各个服务器的调度者。
对于 create， setData， delete 等有写操作的请求，则需要统一转发给leader 处理， leader 需要决定编号、执行操作，这个过程称为一个事务。

Follower:
处理客户端非事务（读操作）请求，
转发事务请求给 Leader；
参与集群 Leader 选举投票 2n-1台可以做集群投票。
此外，针对访问量比较大的 zookeeper 集群，还可新增观察者角色。

Observer:
观察者角色，观察 Zookeeper 集群的最新状态变化并将这些状态同步过
来，其对于非事务请求可以进行独立处理，对于事务请求，则会转发给 Leader
服务器进行处理。
不会参与任何形式的投票只提供非事务服务，通常用于在不影响集群事务
处理能力的前提下提升集群的非事务处理能力。

zookeeper的特性

1.全局数据一致：每个 server 保存一份相同的数据副本， client 无论连
接到哪个 server，展示的数据都是一致的，这是最重要的特征；
2. 可靠性：如果消息被其中一台服务器接受，那么将被所有的服务器接受。
3. 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上
消息 a 在消息 b 前发布，则在所有 Server 上消息 a 都将在消息 b 前被
发布；偏序是指如果一个消息 b 在消息 a 后被同一个发送者发布， a 必
将排在 b 前面。
4. 数据更新原子性：一次数据更新要么成功（半数以上节点成功），要么失
败，不存在中间状态；
5. 实时性： Zookeeper 保证客户端将在一个时间间隔范围内获得服务器的
更新信息，或者服务器失效的信息。

smalllllerr

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Linux的shell编程、环境搭建、Zookeeper介绍

Linux的shell编程、环境搭建、Zookeeper介绍Shell编程Shell文件的基本格式Shell变量语法格式变量使用变量类型局部变量环境变量shell 变量参数传递特殊字符Shell运算符流程控制if else 语句for循环while语法case语句函数使用函数参数Linux环境搭建三台虚拟机关闭防火墙三台机器关闭selinux三台机器更改主机名三台机器做主机名与IP地址的映射三台机器重启三台机器机器免密码登录三台机器生成公钥与私钥拷贝公钥到同一台机器复制第一台机器的认证到其他机器三台机器
复制链接

扫一扫