运维常用操作(持续更新)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_37038498/article/details/91346028


数据库部分摘抄自python那些事

1. 系统常用命令

1.1 linux踢出在线用户

# pts/2 是查找后的用户
pkill -kill -t pts/2

1.2 创建swap分区

dd if=/dev/zero of=/data/swapfile bs=1M count=8000
mkswap /data/swapfile
chmod 0600 /data/swapfile
swapon /data/swapfile 

1.3 centos7修改网卡ip地址

nmcli connection modify ens33 ipv4.address "192.168.0.64/24"
nmcli connection modify ens33 ipv4.method manual
nmcli connection up ens33
systemctl restart network

1.4 查看系统内存,内存使用量较高的进程

# 找出当前系统内存使用量较高的进程
ps -aux | sort -rnk 4 | head -20
# 找出当前系统CPU使用量较高的进程
ps -aux | sort -rnk 3 | head -20

1.5 持续ping并将结果记录到日志

ping api.test.cn | awk '{ print $0"    " strftime(“%Y-%m-%d %H:%M:%S",systime()) }' >> /tmp/ping_test.log &

1.6 查找80端口请求数最高的前20个IP

netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20

1.7 配置阿里云yum源

yum -y install wget
cd /etc/yum.repos.d/
mkdir repo_bak
mv *.repo repo_bak/
# 下载阿里源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清空yum缓存
yum clean all
# 安装扩展包
yum -y install epel-release
yum clean all

1.8 grep 过滤多个条件

grep -E "^#|^$" /etc/kubernetes/config -v

1.9 vim

1.9.1 替换

# 替换当前行第一个 aaa为 bbb
s/aaa/bbb/  
# 替换当前行所有 aaa为 bbb
s/aaa/bbb/g  
# 替换第 n 行开始到最后一行中每一行的第一个 aaa为 bbb  
n,$s/aaa/bbb/ 
# 替换第 n 行开始到最后一行中每一行所有 aaa为 bbb  
n,$s/aaa/bbb/g 
  
# n 为数字,若 n 为 .,表示从当前行开始到最后一行 
# 替换开始到最后一行中每一行第一个 aaa为 bbb
%s/aaa/bbb/
# 替换每一行中所有 aaa为 bbb  
%s/aaa/bbb/g

1.10 AWK

test.txt

a1 a2 a3 a4
b1 b2 b3 b4 b5
c1 c2 c3 c4
d1 d2 d3 d4
# NF 字段个数,(读取的列数),awk按行读取,将每一行的字段个数赋值给变量NF并打印出来
awk '{print NF}' test.txt 
4
5
4
4

# NR 记录数(行号),从1开始,新的文件延续上面的计数,新文件不从1开始,可以用来查询过滤结果所在行
awk '{print NR}' test.txt
1
2
3
4
# 查看字段数大于2的行号,并输出
awk '{if(NF>4)print "字段数大于2的行号为:" NR}' test.txt
字段数大于2的行号为:2
# FNR 读取文件的记录数(行号),从1开始,新的文件重新从1开始计数,与NR不同于当同时读取多个文件时,读取新的文件时行号从零开始,NR则累加
# FS 输入字段分隔符,默认是空格,与-F效果一样
awk  'BEGIN{FS=" "}{print $1,$2}' test.txt
awk -F ' ' '{print $1,$2}' test.txt
a1a2
b1b2
c1c2
d1d2

# OFS 输出字段分隔符 默认也是空格
awk 'BEGIN{OFS="---"}{print $1,$2}' test.txt
a1---a2
b1---b2
c1---c2
d1---d2

# RS 输入行分隔符,默认为换行符(以空格作为换行符)
awk 'BEGIN{RS=" "}{print $0}' test.txt 
a1
a2
a3
a4
b1
b2
b3
b4
b5
c1
c2
c3
c4
d1
d2
d3
d4
# ORS 输出行分隔符,默认为换行符
awk 'BEGIN{ORS="---"}{print $1 $2}' test.txt 
a1a2---b1b2---c1c2---d1d2---

1.11 验证证书和秘钥是否匹配

openssl x509 -noout -modulus -in test.com.crt | openssl md5

openssl rsa -noout -modulus -in test.com_key.txt | openssl md5

1.12 非交互式为用户配置密码

useradd test
echo "123456" | passwd --stdin test

1.13 保留最新的两个文件,其余的全部删除

# 只保留最新的两个/tmp/a/*.txt类型的文件,其余的全部删除
rm -f `ls /tmp/a/*.txt -t  |tail -n +3`

1.14 通过iNode值删除文件

# 有时候会应为操作问题,或者bug问题产生一些无法直接使用rm 删除的文件,这里可以使用inode值来删除
# inode值得含义,可以自行百度
ll -i 
find ./ -inum 203671739 |xargs rm

2. mysql

2.1 mysql常用命令

2.1.1 外部命令

# 查看binlog
mysqlbinlog  -v --stop-position=360114     /log/mysql_3306-bin.000270 > /tmp/f.log
# 按照时间段查询
mysqlbinlog -uroot -p123456 -d db_name--base64-output=decode-rows -v  --start-datetime "2017-12-15 14:00:00" --stop-datetime "2017-12-15 16:55:00" /your/binglog/mysql_3306-bin.000060 -r /root/test.sql

# 查看binglog
# mysqlsla软件 需要安装
mysqlsla -lt slow --sort t_sum --top 20     /data/mysql/mysql_3306/slowquery_3306.log   > /root/a.log

2.1.2 mysql主从同步相关

# 需要先将主库备份还原到从库,在制定pos点同步,pos点在备份时会记录
change master to master_host='10.10.101.1',master_user='user',master_password='passwd',master_log_file='mysql_3306-bin.000001',master_log_pos=349981,master_port=3306;
# 跳过一步同步
stop slave;set global sql_slave_skip_counter=1;start slave;

2.1.3密码和权限相关

# 重置密码
set password=password("123456");
# 添加用户并授权
grant all privileges  on *.* to 'roottest'@'%' identified by '123456' WITH GRANT OPTION;
# 重载授权表
FLUSH PRIVILEGES

2.1.4 变量查询

# 查看日志相关配置
SHOW VARIABLES LIKE '%log%';
# 查看慢日志是否开启
show variables like 'slow_query%';
# 查看慢日志时间(多久才算慢日志)
show variables like 'long%';

2.2 sql相关

2.2.1 数据库操作

-- 查看当前数据库
    SELECT DATABASE();
-- 显示当前时间、用户名、数据库版本
    SELECT now(), user(), version();
-- 创建库
    CREATE DATABASE[ IF NOT EXISTS] 数据库名 数据库选项
    --数据库选项:
        CHARACTER SET charset_name
        COLLATE collation_name
-- 查看已有库
    SHOW DATABASES[ LIKE 'PATTERN']
-- 查看当前库信息
    SHOW CREATE DATABASE 数据库名
-- 修改库的选项信息
    ALTER DATABASE 库名 选项信息
-- 删除库,同时删除该数据库相关的目录及其目录内容
    DROP DATABASE[ IF EXISTS] 数据库名   

2.2.2 表操作

-- 创建表
    CREATE [TEMPORARY] TABLE[ IF NOT EXISTS] [库名.]表名 ( 表的结构定义 )[ 表选项]
        --每个字段必须有数据类型
        --最后一个字段后不能有逗号
        TEMPORARY 临时表,会话结束时表自动消失
        --对于字段的定义:
            --字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string']
-- 表选项
    -- 字符集
        CHARSET = charset_name
        --如果表没有设定,则使用数据库字符集
    -- 存储引擎
        ENGINE = engine_name
        --表在管理数据时采用的不同的数据结构,结构不同会导致处理方式、提供的特性操作等不同
        --常见的引擎:InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive
        --不同的引擎在保存表的结构和数据时采用不同的方式
        MyISAM表文件含义:
        	--.frm表定义
        	--.MYD表数据
        	--.MYI表索引
        InnoDB表文件含义:
        	--.frm表定义,
		    --共享表空间文件:ibdata1
		    --私有表空间文件:表名.ibd
			--日志文件
        SHOW ENGINES -- 显示存储引擎的状态信息
        SHOW ENGINE 引擎名 {LOGS|STATUS} -- 显示存储引擎的日志或状态信息
    -- 自增起始数
        AUTO_INCREMENT = 行数
    -- 数据文件目录
        DATA DIRECTORY = '目录'
    -- 索引文件目录
        INDEX DIRECTORY = '目录'
    -- 表注释
        COMMENT = 'string'
    -- 分区选项
        PARTITION BY ... (详细见手册)
-- 查看所有表
    SHOW TABLES[ LIKE 'pattern']
    SHOW TABLES FROM 表名
-- 查看表机构
    SHOW CREATE TABLE 表名 (信息更详细)
    DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / SHOW COLUMNS FROM 表名 [LIKE 'PATTERN']
    SHOW TABLE STATUS [FROM db_name] [LIKE 'pattern']
-- 修改表
    -- 修改表本身的选项
        ALTER TABLE 表名 表的选项
        eg: ALTER TABLE 表名 ENGINE=MYISAM;
    -- 对表进行重命名
        RENAME TABLE 原表名 TO 新表名
        RENAME TABLE 原表名 TO 库名.表名 (可将表移动到另一个数据库)
        -- RENAME可以交换两个表名
    -- 修改表的字段机构(13.1.2. ALTER TABLE语法)
        ALTER TABLE 表名 操作名
        -- 操作名
            ADD[ COLUMN] 字段定义       -- 增加字段
                AFTER 字段名          -- 表示增加在该字段名后面
                FIRST               -- 表示增加在第一个
            ADD PRIMARY KEY(字段名)   -- 创建主键
            ADD UNIQUE [索引名] (字段名)-- 创建唯一索引
            ADD INDEX [索引名] (字段名) -- 创建普通索引
            DROP[ COLUMN] 字段名      -- 删除字段
            MODIFY[ COLUMN] 字段名 字段属性     -- 支持对字段属性进行修改,不能修改字段名(所有原有属性也需写上)
            CHANGE[ COLUMN] 原字段名 新字段名 字段属性      -- 支持对字段名修改
            DROP PRIMARY KEY    -- 删除主键(删除主键前需删除其AUTO_INCREMENT属性)
            DROP INDEX 索引名 -- 删除索引
            DROP FOREIGN KEY 外键    -- 删除外键
-- 删除表
    DROP TABLE[ IF EXISTS] 表名 ...
-- 清空表数据
    TRUNCATE [TABLE] 表名
-- 复制表结构
    CREATE TABLE 表名 LIKE 要复制的表名
-- 复制表结构和数据
    CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名
-- 检查表是否有错误
    CHECK TABLE tbl_name [, tbl_name] ... [option] ...
-- 优化表
    OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
-- 修复表
    REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ... [QUICK] [EXTENDED] [USE_FRM]
-- 分析表
    ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

2.2.3 数据操作

-- 增
    INSERT [INTO] 表名 [(字段列表)] VALUES (值列表)[, (值列表), ...]
        -- 如果要插入的值列表包含所有字段并且顺序一致,则可以省略字段列表。
        -- 可同时插入多条数据记录!
        REPLACEINSERT 完全一样,可互换。
    INSERT [INTO] 表名 SET 字段名=[, 字段名=, ...]
-- 删
    DELETE FROM 表名[ 删除条件子句]
        --没有条件子句,则会删除全部
-- 改
    UPDATE 表名 SET 字段名=新值[, 字段名=新值] [更新条件]
-- 查
    SELECT 字段列表 FROM 表名[ 其他子句]
        -- 可来自多个表的多个字段
        -- 其他子句可以不使用
        -- 字段列表可以用*代替,表示所有字段

2.2.4 select

SELECT [ALL|DISTINCT] select_expr FROM -> WHERE -> GROUP BY [合计函数] -> HAVING -> ORDER BY -> LIMIT
1. select_expr
    -- 可以用 * 表示所有字段。
        select * from tb;
    -- 可以使用表达式(计算公式、函数调用、字段也是个表达式)
        select stu, 29+25, now() from tb;
    -- 可以为每个列使用别名。适用于简化列标识,避免多个列标识符重复。
        - 使用 as 关键字,也可省略 as.
        select stu+10 as add10 from tb;
2. FROM 子句
    用于标识查询来源。
    -- 可以为表起别名。使用as关键字。
        SELECT * FROM tb1 AS tt, tb2 AS bb;
    -- from子句后,可以同时出现多个表。
        -- 多个表会横向叠加到一起,而数据会形成一个笛卡尔积。
        SELECT * FROM tb1, tb2;
    -- 向优化符提示如何选择索引
        USE INDEXIGNORE INDEXFORCE INDEX
        SELECT * FROM table1 USE INDEX (key1,key2) WHERE key1=1 AND key2=2 AND key3=3;
        SELECT * FROM table1 IGNORE INDEX (key3) WHERE key1=1 AND key2=2 AND key3=3;
3. WHERE 子句
    -- 从from获得的数据源中进行筛选。
    -- 整型1表示真,0表示假。
    -- 表达式由运算符和运算数组成。
        -- 运算数:变量(字段)、值、函数返回值
        -- 运算符:
            =, <=>, <>, !=, <=, <, >=, >, !, &&, ||,
            in (not) null, (not) like, (not) in, (not) between and, is (not), and, or, not, xor
            is/is not 加上ture/false/unknown,检验某个值的真假
            <=><>功能相同,<=>可用于null比较
4. GROUP BY 子句, 分组子句
    GROUP BY 字段/别名 [排序方式]
    分组后会进行排序。升序:ASC,降序:DESC
    以下[合计函数]需配合 GROUP BY 使用:
    count 返回不同的非NULL值数目  count(*)count(字段)
    sum 求和
    --max 求最大值
    --min 求最小值
    --avg 求平均值
    --group_concat 返回带有来自一个组的连接的非NULL值的字符串结果。组内字符串连接。
5. HAVING 子句,条件子句
    与 where 功能、用法相同,执行时机不同。
    where 在开始时执行检测数据,对原数据进行过滤。
    having 对筛选出的结果再次进行过滤。
    having 字段必须是查询出来的,where 字段必须是数据表存在的。
    where 不可以使用字段的别名,having 可以。因为执行WHERE代码时,可能尚未确定列值。
    where 不可以使用合计函数。一般需用合计函数才会用 having
    SQL标准要求HAVING必须引用GROUP BY子句中的列或用于合计函数中的列。
6. ORDER BY 子句,排序子句
    order by 排序字段/别名 排序方式 [,排序字段/别名 排序方式]...
    升序:ASC,降序:DESC
    --支持多个字段的排序。
7. LIMIT 子句,限制结果数量子句
    --仅对处理好的结果进行数量限制。将处理好的结果的看作是一个集合,按照记录出现的顺序,索引从0开始。
    limit 起始位置, 获取条数
    --省略第一个参数,表示从索引0开始。limit 获取条数
8. DISTINCT, ALL 选项
    distinct 去除重复记录
    --默认为 all, 全部记录

3.服务常用命令

3.1 重载haproxy

# 平滑重启
./haproxy -f /tmp/haproxy.cfg -p /tmp/haproxy.pid -sf $(cat /tmp/haproxy.pid) 

3.2 nginx指定配置文件启动,关闭

# 启动
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf
# 关闭
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf -s stop
展开阅读全文

没有更多推荐了,返回首页