运维常用操作(持续更新)

数据库部分摘抄自 python那些事

1. 系统常用命令

1.1 linux踢出在线用户

# pts/2 是查找后的用户
pkill -kill -t pts/2

1.2 创建swap分区

dd if=/dev/zero of=/data/swapfile bs=1M count=8000
mkswap /data/swapfile
chmod 0600 /data/swapfile
swapon /data/swapfile 

1.3 centos7修改网卡ip地址

nmcli connection modify ens33 ipv4.address "192.168.0.64/24"
nmcli connection modify ens33 ipv4.method manual
nmcli connection up ens33
systemctl restart network

1.4 查看系统内存，内存使用量较高的进程

# 找出当前系统内存使用量较高的进程
ps -aux | sort -rnk 4 | head -20
# 找出当前系统CPU使用量较高的进程
ps -aux | sort -rnk 3 | head -20

1.5 持续ping并将结果记录到日志

ping api.test.cn | awk '{ print $0"    " strftime(“%Y-%m-%d %H:%M:%S",systime()) }' >> /tmp/ping_test.log &

1.6 查找80端口请求数最高的前20个IP

netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20

1.7 配置阿里云yum源

yum -y install wget
cd /etc/yum.repos.d/
mkdir repo_bak
mv *.repo repo_bak/
# 下载阿里源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清空yum缓存
yum clean all
# 安装扩展包
yum -y install epel-release
yum clean all

1.8 grep 过滤多个条件

# 过滤#前面有0或多个空格的行和空行
cat deployment/nginx-ingress.yaml | grep -v -E '^[[:space:]]{0,}#|^$'

1.9 vim

1.9.1 替换

# 1. 替换当前行第一个 aaa为 bbb
s/aaa/bbb/ 

# 2. 替换当前行所有 aaa为 bbb
s/aaa/bbb/g  

# 3. 替换第 n 行开始到最后一行中每一行的第一个 aaa为 bbb　 
n，$s/aaa/bbb/ 

# 4. 替换第 n 行开始到最后一行中每一行所有 aaa为 bbb　 
n，$s/aaa/bbb/g 

#　n 为数字，若 n 为 .，表示从当前行开始到最后一行 
#　5. 替换开始到最后一行中每一行第一个 aaa为 bbb
%s/aaa/bbb/

# 6. 替换每一行中所有 aaa为 bbb　 
%s/aaa/bbb/g

1.10 AWK

test.txt

a1 a2 a3 a4
b1 b2 b3 b4 b5
c1 c2 c3 c4
d1 d2 d3 d4

# 1. NF 字段个数，（读取的列数）,awk按行读取,将每一行的字段个数赋值给变量NF并打印出来
awk '{print NF}' test.txt 
4
5
4
4

# 2. NR 记录数（行号），从1开始，新的文件延续上面的计数，新文件不从1开始,可以用来查询过滤结果所在行
awk '{print NR}' test.txt
1
2
3
4

# 3. 查看字段数大于2的行号,并输出
awk '{if(NF>4)print "字段数大于2的行号为：" NR}' test.txt
字段数大于2的行号为：2

# 4. FNR 读取文件的记录数（行号），从1开始，新的文件重新从1开始计数,与NR不同于当同时读取多个文件时,读取新的文件时行号从零开始,NR则累加

# 5. FS 输入字段分隔符，默认是空格,与-F效果一样
awk  'BEGIN{FS=" "}{print $1,$2}' test.txt
awk -F ' ' '{print $1,$2}' test.txt
a1a2
b1b2
c1c2
d1d2

# 6. OFS 输出字段分隔符 默认也是空格
awk 'BEGIN{OFS="---"}{print $1,$2}' test.txt
a1---a2
b1---b2
c1---c2
d1---d2

# 7. RS 输入行分隔符，默认为换行符(以空格作为换行符)
awk 'BEGIN{RS=" "}{print $0}' test.txt 
a1
a2
a3
a4
b1
b2
b3
b4
b5
c1
c2
c3
c4
d1
d2
d3
d4

# 8. ORS 输出行分隔符，默认为换行符
awk 'BEGIN{ORS="---"}{print $1 $2}' test.txt 
a1a2---b1b2---c1c2---d1d2---

1.11 验证证书和秘钥是否匹配

openssl x509 -noout -modulus -in test.com.crt | openssl md5

openssl rsa -noout -modulus -in test.com_key.txt | openssl md5

1.12 非交互式为用户配置密码

useradd test
echo "123456" | passwd --stdin test

1.13 保留最新的两个文件，其余的全部删除

# 只保留最新的两个/tmp/a/*.txt类型的文件，其余的全部删除
rm -f `ls /tmp/a/*.txt -t  |tail -n +3`

1.14 通过iNode值删除文件

# 有时候会应为操作问题，或者bug问题产生一些无法直接使用rm 删除的文件，这里可以使用inode值来删除
# inode值得含义，可以自行百度
ll -i 
find ./ -inum 203671739 |xargs rm

1.15 shell变量及常用知识

# 1.常用变量写法
aa=100
echo $aa
echo ${aa} # 推荐使用,可以避免变量输入时出现空格造成不必要的麻烦，还可以对变量名进行截取操作

# 2. 只读变量
a=100
readonly a
a=50  # 此时赋值报错（-bash: a: readonly variable），一般脚本中用于不可变变量的赋值

# 3. $#,$0,$1,$?的区别
[root@connor ~]# pwd
/root
[root@connor ~]# ls sh/dirname.sh 
sh/dirname.sh
[root@connor ~]# cat sh/dirname.sh 
#-----------------------------------------------
#!/bin/bash
# 参数个数
echo $#
# 执行脚本时的相对路径+脚本名称
echo $0
# 执行脚本时的相对路径
echo `dirname $0`
# cd 到脚本执行的目录
cd `dirname $0`
[ -d log ] || mkdir log
echo 'test' > log/test.log
#---------------------------------------------
[root@connor ~]# bash sh/dirname.sh aa bb
2 # 脚本传参的个数
sh/dirname.sh	# 脚本执行时的相对路径+脚本名称
sh	# 脚本执行时的相对路径

# 4. 获取赋值变量字符串的操作
string="connor"
echo ${#string} # 获取字符串长度
6
echo ${string:2:3} # 从字符串索引(索引从0开始)为2的位置取3个字符
nno

# 5. 多行注释
# 大家都用EOF，你也可以用其它的，只是一个起始结束的标识符
:<<EOF

123
aaa
bbb

EOF

# 不一样的味道
:<<666

123
aaa
bbb

666

# 6. shell 数组和字典见一篇博客
https://blog.csdn.net/weixin_37038498/article/details/80662632
# 具体数组，字典应用和函数传参见
https://blog.csdn.net/weixin_37038498/article/details/89174944

1.16 ubuntu apt 常见用法

sudo apt-get update  							# 更新源
sudo apt-get install package 					# 安装包
sudo apt-get remove package 					# 删除包
sudo apt-cache search package 					# 搜索软件包
sudo apt-cache show package  					# 获取包的相关信息，如说明、大小、版本等
sudo apt-get install package --reinstall  		# 重新安装包
sudo apt-get -f install  						# 修复安装
sudo apt-get remove package --purge 			# 删除包，包括配置文件等
sudo apt-get build-dep package 					# 安装相关的编译环境
sudo apt-get upgrade 							# 更新已安装的包
sudo apt-get dist-upgrade 						# 升级系统
sudo apt-cache depends package 					# 了解使用该包依赖那些包
sudo apt-cache rdepends package 				# 查看该包被哪些包依赖
sudo apt-get source package  					# 下载该包的源代码
sudo apt-get clean && sudo apt-get autoclean 	# 清理无用的包
sudo apt-get check 								# 检查是否有损坏的依赖

1.17 centos 删除旧的内核

# 查询现在的内核版本
rpm -qa|grep kernel

kernel-tools-libs-3.10.0-1062.9.1.el7.x86_64
kernel-tools-3.10.0-1062.9.1.el7.x86_64
kernel-3.10.0-1062.9.1.el7.x86_64
kernel-3.10.0-693.el7.x86_64
kernel-devel-3.10.0-693.el7.x86_64
kernel-devel-3.10.0-1062.9.1.el7.x86_64

# 使用yum清楚旧的内核版本
yum remove kernel-3.10.0-693.el7.x86_64
yum remove kernel-devel-3.10.0-693.el7.x86_64
# 重启服务器
reboot

1.18查看nginx进程cpu使用情况

 ps axw -o pid,ppid,user,%cpu,vsz,wchan,command | egrep '(nginx|PID)'

1.19 vim临时修改字符集

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

1.20 生成公钥、私钥、证书

openssl genrsa -out rsa_private.key 2048
openssl rsa -in rsa_private.key -pubout -out rsa_public.key
openssl req -newkey rsa:2048 -nodes -keyout rsa_private.key -x509 -days 365 -out cert.crt

1.21 查看指定进程占用的cpu和内存

ps -o pid,pcpu,pmem -p 10345 
    PID %CPU %MEM
  10345  5.2  3.8

2. mysql

2.1 mysql常用命令

2.1.1 外部命令

# 查看binlog
mysqlbinlog  -v --stop-position=360114     /log/mysql_3306-bin.000270 > /tmp/f.log
# 按照时间段查询
mysqlbinlog -uroot -p123456 -d db_name--base64-output=decode-rows -v  --start-datetime "2017-12-15 14:00:00" --stop-datetime "2017-12-15 16:55:00" /your/binglog/mysql_3306-bin.000060 -r /root/test.sql

# 查看binglog
# mysqlsla软件 需要安装
mysqlsla -lt slow --sort t_sum --top 20     /data/mysql/mysql_3306/slowquery_3306.log   > /root/a.log

2.1.2 mysql主从同步相关

# 需要先将主库备份还原到从库，在制定pos点同步，pos点在备份时会记录
change master to master_host='10.10.101.1',master_user='user',master_password='passwd',master_log_file='mysql_3306-bin.000001',master_log_pos=349981,master_port=3306;
# 跳过一步同步
stop slave;set global sql_slave_skip_counter=1;start slave;

2.1.3密码和权限相关

# 重置密码
set password=password("123456");
# 添加用户并授权
grant all privileges  on *.* to 'roottest'@'%' identified by '123456' WITH GRANT OPTION;
# 重载授权表
FLUSH PRIVILEGES

2.1.4 变量查询

# 查看日志相关配置
SHOW VARIABLES LIKE '%log%';
# 查看慢日志是否开启
show variables like 'slow_query%';
# 查看慢日志时间(多久才算慢日志)
show variables like 'long%';

2.2 sql相关

2.2.1 数据库操作

-- 查看当前数据库
    SELECT DATABASE();
-- 显示当前时间、用户名、数据库版本
    SELECT now(), user(), version();
-- 创建库
    CREATE DATABASE[ IF NOT EXISTS] 数据库名 数据库选项
    --数据库选项：
        CHARACTER SET charset_name
        COLLATE collation_name
-- 查看已有库
    SHOW DATABASES[ LIKE 'PATTERN']
-- 查看当前库信息
    SHOW CREATE DATABASE 数据库名
-- 修改库的选项信息
    ALTER DATABASE 库名 选项信息
-- 删除库,同时删除该数据库相关的目录及其目录内容
    DROP DATABASE[ IF EXISTS] 数据库名   

2.2.2 表操作

-- 创建表
    CREATE [TEMPORARY] TABLE[ IF NOT EXISTS] [库名.]表名 ( 表的结构定义 )[ 表选项]
        --每个字段必须有数据类型
        --最后一个字段后不能有逗号
        TEMPORARY 临时表，会话结束时表自动消失
        --对于字段的定义：
            --字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string']
-- 表选项
    -- 字符集
        CHARSET = charset_name
        --如果表没有设定，则使用数据库字符集
    -- 存储引擎
        ENGINE = engine_name
        --表在管理数据时采用的不同的数据结构，结构不同会导致处理方式、提供的特性操作等不同
        --常见的引擎：InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive
        --不同的引擎在保存表的结构和数据时采用不同的方式
        MyISAM表文件含义：
        	--.frm表定义
        	--.MYD表数据
        	--.MYI表索引
        InnoDB表文件含义：
        	--.frm表定义，
		    --共享表空间文件：ibdata1
		    --私有表空间文件：表名.ibd
			--日志文件
        SHOW ENGINES -- 显示存储引擎的状态信息
        SHOW ENGINE 引擎名 {LOGS|STATUS} -- 显示存储引擎的日志或状态信息
    -- 自增起始数
        AUTO_INCREMENT = 行数
    -- 数据文件目录
        DATA DIRECTORY = '目录'
    -- 索引文件目录
        INDEX DIRECTORY = '目录'
    -- 表注释
        COMMENT = 'string'
    -- 分区选项
        PARTITION BY ... (详细见手册)
-- 查看所有表
    SHOW TABLES[ LIKE 'pattern']
    SHOW TABLES FROM 表名
-- 查看表机构
    SHOW CREATE TABLE 表名 （信息更详细）
    DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / SHOW COLUMNS FROM 表名 [LIKE 'PATTERN']
    SHOW TABLE STATUS [FROM db_name] [LIKE 'pattern']
-- 修改表
    -- 修改表本身的选项
        ALTER TABLE 表名 表的选项
        eg: ALTER TABLE 表名 ENGINE=MYISAM;
    -- 对表进行重命名
        RENAME TABLE 原表名 TO 新表名
        RENAME TABLE 原表名 TO 库名.表名 （可将表移动到另一个数据库）
        -- RENAME可以交换两个表名
    -- 修改表的字段机构（13.1.2. ALTER TABLE语法）
        ALTER TABLE 表名 操作名
        -- 操作名
            ADD[ COLUMN] 字段定义       -- 增加字段
                AFTER 字段名          -- 表示增加在该字段名后面
                FIRST               -- 表示增加在第一个
            ADD PRIMARY KEY(字段名)   -- 创建主键
            ADD UNIQUE [索引名] (字段名)-- 创建唯一索引
            ADD INDEX [索引名] (字段名) -- 创建普通索引
            DROP[ COLUMN] 字段名      -- 删除字段
            MODIFY[ COLUMN] 字段名 字段属性     -- 支持对字段属性进行修改，不能修改字段名(所有原有属性也需写上)
            CHANGE[ COLUMN] 原字段名 新字段名 字段属性      -- 支持对字段名修改
            DROP PRIMARY KEY    -- 删除主键(删除主键前需删除其AUTO_INCREMENT属性)
            DROP INDEX 索引名 -- 删除索引
            DROP FOREIGN KEY 外键    -- 删除外键
-- 删除表
    DROP TABLE[ IF EXISTS] 表名 ...
-- 清空表数据
    TRUNCATE [TABLE] 表名
-- 复制表结构
    CREATE TABLE 表名 LIKE 要复制的表名
-- 复制表结构和数据
    CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名
-- 检查表是否有错误
    CHECK TABLE tbl_name [, tbl_name] ... [option] ...
-- 优化表
    OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
-- 修复表
    REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ... [QUICK] [EXTENDED] [USE_FRM]
-- 分析表
    ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

2.2.3 数据操作

-- 增
    INSERT [INTO] 表名 [(字段列表)] VALUES (值列表)[, (值列表), ...]
        -- 如果要插入的值列表包含所有字段并且顺序一致，则可以省略字段列表。
        -- 可同时插入多条数据记录！
        REPLACE 与 INSERT 完全一样，可互换。
    INSERT [INTO] 表名 SET 字段名=值[, 字段名=值, ...]
-- 删
    DELETE FROM 表名[ 删除条件子句]
        --没有条件子句，则会删除全部
-- 改
    UPDATE 表名 SET 字段名=新值[, 字段名=新值] [更新条件]
-- 查
    SELECT 字段列表 FROM 表名[ 其他子句]
        -- 可来自多个表的多个字段
        -- 其他子句可以不使用
        -- 字段列表可以用*代替，表示所有字段

2.2.4 select

SELECT [ALL|DISTINCT] select_expr FROM -> WHERE -> GROUP BY [合计函数] -> HAVING -> ORDER BY -> LIMIT
1. select_expr
    -- 可以用 * 表示所有字段。
        select * from tb;
    -- 可以使用表达式（计算公式、函数调用、字段也是个表达式）
        select stu, 29+25, now() from tb;
    -- 可以为每个列使用别名。适用于简化列标识，避免多个列标识符重复。
        - 使用 as 关键字，也可省略 as.
        select stu+10 as add10 from tb;
2. FROM 子句
    用于标识查询来源。
    -- 可以为表起别名。使用as关键字。
        SELECT * FROM tb1 AS tt, tb2 AS bb;
    -- from子句后，可以同时出现多个表。
        -- 多个表会横向叠加到一起，而数据会形成一个笛卡尔积。
        SELECT * FROM tb1, tb2;
    -- 向优化符提示如何选择索引
        USE INDEX、IGNORE INDEX、FORCE INDEX
        SELECT * FROM table1 USE INDEX (key1,key2) WHERE key1=1 AND key2=2 AND key3=3;
        SELECT * FROM table1 IGNORE INDEX (key3) WHERE key1=1 AND key2=2 AND key3=3;
3. WHERE 子句
    -- 从from获得的数据源中进行筛选。
    -- 整型1表示真，0表示假。
    -- 表达式由运算符和运算数组成。
        -- 运算数：变量（字段）、值、函数返回值
        -- 运算符：
            =, <=>, <>, !=, <=, <, >=, >, !, &&, ||,
            in (not) null, (not) like, (not) in, (not) between and, is (not), and, or, not, xor
            is/is not 加上ture/false/unknown，检验某个值的真假
            <=>与<>功能相同，<=>可用于null比较
4. GROUP BY 子句, 分组子句
    GROUP BY 字段/别名 [排序方式]
    分组后会进行排序。升序：ASC，降序：DESC
    以下[合计函数]需配合 GROUP BY 使用：
    count 返回不同的非NULL值数目  count(*)、count(字段)
    sum 求和
    --max 求最大值
    --min 求最小值
    --avg 求平均值
    --group_concat 返回带有来自一个组的连接的非NULL值的字符串结果。组内字符串连接。
5. HAVING 子句，条件子句
    与 where 功能、用法相同，执行时机不同。
    where 在开始时执行检测数据，对原数据进行过滤。
    having 对筛选出的结果再次进行过滤。
    having 字段必须是查询出来的，where 字段必须是数据表存在的。
    where 不可以使用字段的别名，having 可以。因为执行WHERE代码时，可能尚未确定列值。
    where 不可以使用合计函数。一般需用合计函数才会用 having
    SQL标准要求HAVING必须引用GROUP BY子句中的列或用于合计函数中的列。
6. ORDER BY 子句，排序子句
    order by 排序字段/别名 排序方式 [,排序字段/别名 排序方式]...
    升序：ASC，降序：DESC
    --支持多个字段的排序。
7. LIMIT 子句，限制结果数量子句
    --仅对处理好的结果进行数量限制。将处理好的结果的看作是一个集合，按照记录出现的顺序，索引从0开始。
    limit 起始位置, 获取条数
    --省略第一个参数，表示从索引0开始。limit 获取条数
8. DISTINCT, ALL 选项
    distinct 去除重复记录
    --默认为 all, 全部记录

3.服务常用命令

3.1 重载haproxy

# 平滑重启
./haproxy -f /tmp/haproxy.cfg -p /tmp/haproxy.pid -sf $(cat /tmp/haproxy.pid) 

3.2 nginx指定配置文件启动，关闭

# 启动
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf
# 关闭
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf -s stop