运维部署调优
文章平均质量分 81
睨噷蹇蜣
追求完美的人生
展开
-
吞吐量(TPS)、QPS、并发数、响应时间(RT)概念
QPS原理:每天80%的访问集中在20%的时间里,这20%时间叫做峰值时间。公式:( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。机器:峰值时间每秒QPS / 单台机器的QPS = 需要的机器 。每天300w PV 的在单台机器上,这台机器需要多少QPS?( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 ...原创 2019-03-05 10:06:53 · 1374 阅读 · 0 评论 -
mysql优化
mysql服务性能优化—my.cnf配置说明详解(16G内存)1.优化sql,开启慢日志,找到查询过慢的sql2.大表做分区3.选择正确的存储引擎,增大对应配置参数,innodb的size4.做读写分离5.分库分表6.硬件升级,做个磁盘阵列7.做索引8.使用explain关键字查询9.配置优化1.max_connection 最大连接数2.back_log 暂存连接数...原创 2018-12-10 09:23:51 · 102 阅读 · 0 评论 -
整理mysql从,主主,读写分离笔记
主从复制:主库:vim /etc/my.cnflog-bin=/usr/local/mysql/data/mysqld.binlog 启动二进制日志文件server_id=27 任意编辑一个idservice mysqld start 开启服务mysql 进入mysqlgrant replication slave on . rep@‘192.168.11...原创 2018-12-10 09:20:43 · 150 阅读 · 0 评论 -
mysql安全机制、日志管理、数据备份、权限
安全机制:MySQL用户管理登录和退出MySQL示例:mysql -h192.168.5.240 -P 3306 -u root -p123 -P指端口号mysql -e ‘select user,host from user’ 非交互式操作,即不用密码登录-h 指定主机名-P MySQL服务器端口-u 指定用户名-p 指定登录密码此处mysql为指定登录的数据库...原创 2018-12-10 09:16:33 · 1259 阅读 · 0 评论 -
mysql备份与还原
tar 备份:基于文件系统的备份/data/mysql1、停止数据库[root@uplook ~]# /etc/init.d/mysqld stop2、使用tar备份数据库文件mkdir /server/backup -pcd /server/backuptar cJvf /server/backup/database.$(date +%F).tar.xz /data/mysql...原创 2018-12-10 09:15:28 · 1122 阅读 · 0 评论 -
Mysqldump参数大全(参数来源于mysql5.5.19源码)
参数参数说明–all-databases , -A导出全部数据库。mysqldump -uroot -p --all-databases–all-tablespaces , -Y导出全部表空间。mysqldump -uroot -p --all-databases --all-tablespaces–no-tablespaces , -y不导出任何表空间信息。mysq...原创 2018-12-10 09:14:34 · 87 阅读 · 0 评论 -
对mysqlbinlog日志进行操作的总结包括 启用,过期自动删除 等
操作命令:show binlog events in ‘binlog.000016’ limit 10;reset master 删除所有的二进制日志flush logs 产生一个新的binlog日志文件show master logs; / show binary logs; 查看二进制文件列表和文件大小./mysqlbinlog --start-datetime=“2012-05...原创 2018-12-10 09:13:51 · 1347854 阅读 · 0 评论 -
mysql事务
MYSQL的事务处理主要有两种方法。 1、用begin,rollback,commit来实现 begin 开始一个事务 rollback 事务回滚  原创 2018-12-10 09:13:03 · 140 阅读 · 0 评论 -
MySQL触发器
MySQL触发器Triggers========================================================触发器简介创建触发器查看触发器删除触发器触发器案例一、触发器简介触发器(trigger)是一个特殊的存储过程,它的执行不是由程序调用,也不是手工启动,而是由事件来触发,比如当对一个表进行操作( insert,delete, update)...原创 2018-12-10 09:11:55 · 407 阅读 · 0 评论 -
MySQL索引
MySQL索引创建索引创建表时创建索引CREATE在已存在的表上创建索引ALTER TABLE在已存在的表上创建索引查看并测试索引删除索引一、索引简介索引在MySQL中也叫做“键”,是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键,尤其是当表中的数据量越来越大时,索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高...原创 2018-12-10 09:10:49 · 117 阅读 · 0 评论 -
MySQL数据类型
MySQL数据类型========================================================一、MySQL常见的数据类型在MySQL数据库管理系统中,可以通过存储引擎来决定表的类型。同时,MySQL数据库管理系统也提供了数据类型决定表存储数据的类型。MySQL数据库管理系统提供的数据类型:数值类型:整数类型 TINYINT SMALLINT ...原创 2018-12-10 09:08:58 · 278 阅读 · 0 评论 -
Linux下Nginx+Tomcat负载均衡和动静分离配置要点
系统环境:centos6u7一、安装Nginx下载源:wget http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm安装源:yum install nginx-release-centos-6-0.el6.ngx.noarch.rpm -y(注意-y参数)安装Ng...原创 2018-12-15 15:45:55 · 292 阅读 · 0 评论 -
手工调优的命令numactl
一、简介可以用来管理当一个内存区域(zone)内部的内存耗尽时,是从其内部进行内存回收还是可以从其他zone进行回收的选项,我们可以通过/proc/sys/vm/zone_reclaim_mode文件对这个参数进行调整。二、安装yum install numactl -y三、实例现象:1:根据zabbix监控,该服务器每隔6个小时左右会有一次内存大量回收。也就是已用内存从250g掉到了...原创 2018-12-14 15:11:03 · 8801 阅读 · 1 评论 -
mysql优化--引擎
t1.myi t1.myd t1.frmmyisam innodb memory ndbcluster引擎myisam 速度快.myi index 存储索引.myd data 存储数据.frm 存储表结构可以把数据分开存储,比放在一块硬盘里访问速度快。默认的数据都保存在var下面,可以人为的改变他们的存储位置#mkdir data ...原创 2018-12-14 14:14:20 · 225 阅读 · 1 评论 -
nginx(php)日志问题
nginx是一个web服务器,因此nginx的access日志只有对访问页面的记录,不会有php 的 error log信息。nginx把对php的请求发给php-fpm fastcgi进程来处理,默认的php-fpm只会输出php-fpm的错误信息,在php-fpm的errors log里也看不到php的errorlog原因是php-fpm的配置文件php-fpm.conf中默认是关闭wor...原创 2018-12-14 14:02:46 · 208 阅读 · 0 评论 -
iptables高级规则
iptables高级部分扩展匹配 man iptables /MATCH EXTENSIONS扩展动作 man iptables /TARGET EXTENSIONSnetfilter不只是包过滤防火墙(四层)netfilter同样是状态防火墙一、扩展匹配 MATCH EXTENSIONS获得帮助:[root@uplo...原创 2018-12-11 11:30:28 · 1727 阅读 · 0 评论 -
LDAP认证
Directory Services(目录服务)我们知道,当局域网的规模变的越来越大时,为了方便主机管理,我们使用DHCP来实现IP地址、以太网地址、主机名和拓扑结构等的集中管理和统一分配。同 样,如果一个局域网内有许多的其它资源时,如打印机、共享文件夹等等,为了方便的定位及查找它们,一种集中定位管理的方式或许是较好的选择,DNS和 NIS都是用来实现类似管理的方法。对于局域网内的一个用户来讲...原创 2018-12-11 11:31:36 · 562 阅读 · 0 评论 -
redis三种集群策略
redis包含三种集群策略主从复制哨兵集群主从复制在主从复制中,数据库分为俩类,主数据库(master)和从数据库(slave)。其中主从复制有如下特点:主数据库可以进行读写操作,当读写操作导致数据变化时会自动将数据同步给从数据库从数据库一般都是只读的,并且接收主数据库同步过来的数据一个master可以拥有多个slave,但是一个slave只能对应一个master主从复制工作机制...原创 2019-02-28 15:53:54 · 298 阅读 · 0 评论 -
LVM逻辑卷管理
1、LVM概念2、如何创建LVM3、如何调整LVM的大小4、对LVM做快照snapshot1、LVM概念LVM:是logical volume manage逻辑卷管理的缩写LVM的功能:将多个硬盘的空间从逻辑上组成一个大容量的存储,并且在后期可以继续往LVM里添加新的磁盘分区,可以在不关机的基础上调整LVM容量大小。应用场景:在企业的云存储服务器,web服务器,文件共享服务器,邮件服...原创 2019-01-15 16:57:51 · 781 阅读 · 0 评论 -
压力测试工具tsung
压力测试工具tsung安装erlang环境#首先下载资源,想下载不同的版本只需要修改版本号即可,最新为19.3wget http://erlang.org/download/otp_src_18.3.tar.gz#在下载目录中对.tar.gz进行解压tar -xzvf otp_src_17.3.tar.gz#安装依赖包(安装必须用到的)yum install -y gcc gcc-c...原创 2018-12-24 17:22:38 · 8025 阅读 · 0 评论 -
LDAP认证
Directory Services(目录服务)我们知道,当局域网的规模变的越来越大时,为了方便主机管理,我们使用DHCP来实现IP地址、以太网地址、主机名和拓扑结构等的集中管理和统一分配。同 样,如果一个局域网内有许多的其它资源时,如打印机、共享文件夹等等,为了方便的定位及查找它们,一种集中定位管理的方式或许是较好的选择,DNS和 NIS都是用来实现类似管理的方法。对于局域网内的一个用户来讲...原创 2018-12-12 11:50:20 · 1129 阅读 · 0 评论 -
运维面临的安全威胁
运维面临的主要安全威胁DOS/DDOSDoS是Denial of Service的简称,即拒绝服务,造成DoS的攻击行为被称为DoS攻击,其目的是使计算机或网络无法提供正常的服务。最常见的DoS攻击有计算机网络带宽攻击和连通性攻击。SYN FloodHTTP Flood调整kernel参数、增加网络宽带、集群、CDN缓冲区溢出攻击缓冲区溢出是指当计算机向缓冲区内填充数据位数时超过了缓...原创 2018-12-12 11:38:47 · 1358798 阅读 · 2 评论 -
项目发布方式(蓝绿布署,滚动发布,灰度发布/金丝雀部署)
在项目迭代的过程中,不可避免需要”上线“。上线对应着部署,或者重新部署;部署对应着修改;修改则意味着风险。目前有很多用于部署的技术,有的简单,有的复杂;有的得停机,有的不需要停机即可完成部署。本文的目的就是将目前常用的布署方案做一个总结。一、蓝绿布署Blue/Green Deployment(蓝绿部署)1、定义蓝绿部署是不停老版本,部署新版本然后进行测试,确认OK,将流量切到新版本,然后...转载 2018-12-18 11:29:11 · 4747 阅读 · 1 评论 -
tcpdump
NIDS网络嗅探器linux: tcpdump,wiresharkwindows: sniffertcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息#tcpdump -i eth0 -nntcpdump [ -eflnNOpqStvx ] [ -c 数量 ] [...原创 2018-12-12 10:55:46 · 257 阅读 · 0 评论 -
Mysqldump参数大全(参数来源于mysql5.5.19源码)
参数参数说明–all-databases , -A导出全部数据库。mysqldump -uroot -p --all-databases–all-tablespaces , -Y导出全部表空间。mysqldump -uroot -p --原创 2018-12-11 17:17:18 · 119 阅读 · 0 评论 -
DHCP实现mac和ip地址绑定
DHCP实现mac和ip地址绑定作用:让网络中某个mac地址的网卡永久使用一个固定的ip地址DHCP服务的端口号:服务器用的是udp:67端口,客户机用的是udp:68端口重要文件:dhcp服务器主配置文件:/etc/dhcp/dhcpd.conf里面可以修改mac和ip地址,即可以给某个客户机固定的ip地址修改完后保存退出然后删除下面的租约文件dhcp服务器上的租约文件:/var...原创 2018-12-17 18:07:42 · 20290 阅读 · 0 评论 -
splunk
日志处理引擎SPLUNKWing -Thu Jul 18 23:22:58 CST 2013Splunk分为免费Free版和企业Enterprise版。Splunk Free专供个人使用。Splunk Enterprise添加了支持多用户和分布式部署的功能,并包括警报、基于角色的安全、单一登录、预设的 PDF 交付以及对无限数据量的支持。你可以使用浏览器访问http://zh-hans.sp...原创 2018-12-11 15:45:50 · 745 阅读 · 0 评论 -
大型web系统架构
浅谈大型web系统架构 动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、...原创 2018-12-11 15:41:05 · 138 阅读 · 0 评论 -
Tomcat优化设置
一. .修改 jvm 为 server 版在命令行 java -version 可以看到 jvm 配置的是哪个版本。编辑 %JAVA_HOME%\jre\lib\i386\jvm.cfg ,把第二行的 -server KNOWN 放到第一行二、调整参数修改 server.xmlmaxThreads 可创建的最大的线程数。acceptCount 指定当所有可以使用的处理请求的线程数都被...原创 2018-12-17 14:49:33 · 509 阅读 · 3 评论 -
my.cnf 配置文件详解
Mysql 作为最常用的数据库软件,对于关系型数据库来说无疑是比较优秀的,随着版本的不断更新,其功能也在增长。my.cnf 作为 mysql 的核心配置文件,很有必要知道一下。[root@localhost ~]# mysql --versionmysql Ver 14.14 Distrib 5.6.16, for Linux (x86_64) using EditLine wrapper ...原创 2018-12-17 13:51:09 · 3022 阅读 · 0 评论 -
多路沉余-multip
拓扑 ++++++++++++++ + Server + client ++++++++++++++ eth0: 192.168.122.10/24 | eth1: 172.16.1.1/24 ...原创 2018-12-11 11:36:00 · 321 阅读 · 0 评论 -
mysql 的权限体系介绍
mysql 的权限体系介绍mysql 的权限体系大致分为5个层级:全局层级全局权限适用于一个给定服务器中的所有数据库。这些权限存储在mysql.user表中。GRANT ALL ON *.*和REVOKE ALL ON *.*只授予和撤销全局权限。数据库层级数据库权限适用于一个给定数据库中的所有目标。这些权限存储在mysql.db和mysql.host表中。GRANT ALL ON db...原创 2018-12-08 21:36:22 · 1101 阅读 · 0 评论 -
mysql字符集
最近,在项目组使用的mysql数据库中,插入数据出现乱码,关于这个问题做了下总结,我们从最基本的地方说起,到错误产生的深层次原因和解决办法。基本概念• 字符(Character)是指人类语言中最小的表义符号。例如’A’、’B’等;• 给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码(Encoding)。例如,我们给字符’A’赋予数值0,给字符’B’赋予数...原创 2018-12-07 09:24:10 · 125 阅读 · 0 评论 -
mysql函数
一、数学函数ABS(x) 返回x的绝对值BIN(x) 返回x的二进制(OCT返回八进制,HEX返回十六进制)CEILING(x) 返回大于x的最小整数值EXP(x) 返回值e(自然对数的底)的x次方FLOOR(x) 返回小于x的最大整数值GREATEST(x1,x2,…,xn)...原创 2018-12-07 09:23:26 · 161 阅读 · 0 评论 -
LVS 端口绑定(防火墙标记)
防火墙标记主要解决的是端口亲缘性问题1.LVS添加VIP的时候,是否可以不指定端口呢?原因就是我的真实服务器中开有多个端口,比如说RS开有 80 81 82 83,我希望访问 VIP:80的时候转到 RS:80 , VIP:81的时候转到 RS:81 ,以此类推由于端口比较多,我不希望为每个端口添加一次配置2.一个用户只想在同一台realserver上做操作的情况,例如ftp,用户在做写操...原创 2018-12-06 14:15:34 · 1698 阅读 · 0 评论 -
LVS 概述
LVSLinux Virtual Server,也就是Linux虚拟服务器,简称LVS一、LVS 概述LVS是Linux内核的一部分,因此性能较高Linux虚拟服务器(即分发器或调度器director):它不真正提供服务,但它接受客户的访问,为整个集群提供一个唯一的入口。虚拟服务器再和真实服务器通信。真实服务器(Real Server):它真正提供服务,集群中每个Real Serve...原创 2018-12-06 14:14:33 · 159 阅读 · 0 评论 -
虚拟磁带库
虚拟磁带库● 虚拟磁带库就是以磁盘作为自身存储介质,并能仿真为物理磁带库的产品● 虚拟磁带库的优势在于用硬盘替换磁带,更快速,更稳定,更好的兼容和持续性● 虚拟磁带库的三种形式:纯软件方案、服务器级带库方案、专用控制器级方案● 采购虚拟磁带库的关键指标:可靠性、可扩展性、易用性、快速部署什么是虚拟磁带库(Virtual Tape Library,VTL)呢?虚拟磁带库就是以磁盘作为自身存...原创 2018-12-13 09:23:02 · 1843 阅读 · 0 评论 -
IP-SAN
SAN、NAS、DAS、FC、ISCSI、FC-SAN、IP-SAN等并不是同一类别的概念。SCSI、FC、NAS、ISCSI等概念指的是存储设备类型,DAS、NAS、SAN等指的是存储系统的网络结构。NASSAN1.按存储设备类型分存储设备类型是指通过采用SCSI、FC、TCP/IP,ISCSI等接口类型、数据传输协议、以及不同数据存储介质的存储设备。常见的存储设备类型可为SCSI存储、...原创 2018-12-13 09:20:48 · 891 阅读 · 0 评论 -
Storage Area Network SAN
存储区域网 (Storage Area Network SAN)○通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络,提供企业级的数据存储服务----网络由它的成员定义■ 范围领域由成员定义■ 基于 SCSI 的光纤控制器■ 以卷数据块的方式交付存储区域网络(Storage Area Network SNA),即通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络,...原创 2018-12-13 09:18:41 · 5628 阅读 · 0 评论 -
Kernel Audit 内核审计
作用: 将系统中所有的行为记录下来(或者有选择性的记录):如:什么时间,哪个用户,执行了哪个程序,操作了哪个文件,成功与否,例如执行过su命令,/tmp目录是否被写入过=================================================================================[root@uplook ~]# rpm -q auditau...原创 2018-12-06 10:01:29 · 1595 阅读 · 0 评论