- 博客(135)
- 收藏
- 关注
RSS订阅原创 AlertManager的使用（邮件和微信告警）
一、AlertManager概述Prometheus 包含一个报警模块，就是我们的 AlertManager，Alertmanager 主要用于接收 Prometheus 发送的告警信息，它支持丰富的告警通知渠道，而且很容易做到告警信息进行去重，降噪，分组等，是一款前卫的告警通知系统。Alertmanager是一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertman
2021-10-06 16:10:18
20761
4
转载 promQL语法
文章目录一、表达式语言数据类型二、字面量（一）字符串（二）标量三、时间序列过滤器（一）瞬时向量过滤器（二）区间向量过滤器（三）时间位移操作四、操作符（一）二元运算符1. 算术二元运算符2. 布尔运算符3. 集合运算符（二）匹配模式1. 一对一匹配2. 多对一和一对多3. 聚合操作4. 二元运算符优先级五、PromQL 内置函数1. abs()2. absent()3. ceil()4. changes()5. clamp_max()6. clamp_min()7. day_of_month()8. day_
2021-10-02 12:15:25
8082
原创 Prometheus、Node_Exporter、PushGateway的使用
prometheus是基于T_S(timeseries)的数据库，对系统时间的准确性要求很高，必须保证主机时间的实时同步。所以，安装prometheus之前，须先进行ntp时间同步[root@test ~]# yum install ntpdate -y[root@test ~]# ntpdate ntp1.aliyun.com[root@test ~]# hwclock -w[root@test ~]# crontab -e* * * * * /usr/sbin/ntpdate ntp1.ali
2021-09-30 11:31:26
6708
原创 Prometheus简介
Prometheus简介Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。Prometheus作为新一代的云原生监
2021-09-29 12:51:38
758
原创 记一次网站架构的搭建
节点规划主机名IP角色备注DS1IP:192.168.126.90 VIP:192.168.126.100LVS负载调度器1部署lvs与keepalived，VIP为浮动IPDS2IP:192.168.126.91 VIP:192.168.126.100LVS负载调度器2部署lvs与keepalived，VIP为浮动IPRS1192.168.126.92nginx服务器1提供WEB静态资源及对动态资源请求转发至后端tomcat服务器RS2192
2021-09-27 16:08:17
1777
1
原创 LVS（Linux Virtual Server）Linux虚拟服务器
节点规划主机名IP角色备注DS1IP:192.168.126.90 VIP:192.168.126.100LVS负载调度器1部署lvs与keepalived，VIP为浮动IPDS2IP:192.168.126.91 VIP:192.168.126.100LVS负载调度器2部署lvs与keepalived，VIP为浮动IPRS1192.168.126.92nginx服务器1提供WEB静态资源及对动态资源请求转发至后端tomcat服务器RS2192
2021-09-23 11:55:56
1384
转载 如何防御 SYN 攻击？
描述前言网上许多博客针对增大 TCP 半连接队列和全连接队列的方式如下：增大 TCP 半连接队列方式是增大 tcp_max_syn_backlog；增大 TCP 全连接队列方式是增大 listen（） 函数中的 backlog；这里先跟大家说下，上面的方式都是不准确的。“你怎么知道不准确？”很简单呀，因为我做了实验和看了 TCP 协议栈的内核源码，发现要增大这两个队列长度，不是简简单单增大某一个参数就可以的。接下来，就会以实战 + 源码分析，带大家解密 TCP 半连接队列和全连接队列。“源
2021-09-22 21:05:12
1010
原创 Ansible之Playbook
文章目录一、什么是Playbook二、Playbook语法三、playbook的执行四、Playbook核心元素和基础组件（一）hosts和users（二）tasks list 和action（三）handlers与notify（四）引用变量（五）条件判断（六）迭代（七）tags（八）一、什么是PlaybookPlaybook（剧本）是系统 Ansible 指令的集合，其利用 YAML 语言编写，自上而下按顺序一次执行。它可以实现一些 Ad-Hoc 指令无法实现的操作。可以简单地把playbook理解
2021-09-20 17:07:24
596
原创 Ansible常用命令
ansible常用命令ansible 命令集：/usr/bin/ansible # Ansibe AD-Hoc 临时命令执行工具，常用于临时命令的执行/usr/bin/ansible-doc # Ansible 模块功能查看工具/usr/bin/ansible-galaxy # 下载/上传优秀代码或Roles模块 的官网平台，基于网络的/usr/bin/ansible-playbook # Ansible 定制自动化的任务集编排工具/usr/bin/ansible-pull
2021-09-19 17:02:23
924
原创 负载均衡Load Balance（F5 \ nginx \ LVS \ DNS轮询）
在做系统架构规划的时候，负载均衡，HA(高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点，当活动节点出现故障的时候，由备用节点接管）都是经常需要考虑的方案。对应并发及单点故障，考虑负载均衡方案是必不可少的。如果并发不高只是应对单点故障，则通常使用HA方案。 负载均衡(Load Balance)是集群技术（Cluster）的一种应用。负载均衡可以将工作任务分摊到多个处理单元，从而提高并发处理能力。目前最常见的负载均衡应用是Web负载均衡。根据实现的原
2021-09-16 10:36:01
4010
转载 SRAM、DRAM、硬盘、ROM、RAM、EPROM、FLASH区别和联系
SRAM和DRAM的区别和联系：(电脑中的内存属于DRAM，CPU中的二级缓存属于SRAM)存储原理 RAM（Random Access Memory ）随机存取存储器，主要的作用就是存储代码和数据供CPU 在需要的时候调用。 但是这些数据并不是像用袋子盛米那么简单，更像是图书馆中用有格子的书架存放书籍一样，不但要放进去还要能够在需要的时候准确的调用出来，虽然都是书但是每本书是不同的。 对于RAM 等存储器来说也是一样的，虽然存储的都是代表0 和1 的代码，但是不同的组合就是不同的数据。
2021-09-05 14:53:25
1906
1
原创 Redis企业级解决方案
文章目录一、缓存预热二、缓存雪崩三、缓存击穿四、缓存穿透五、性能指标监控（一）监控指标（二）监控方式一、缓存预热“宕机”服务器启动后迅速宕机问题排查请求数量较高主从之间数据吞吐量较大，数据同步操作频度较高解决方案前置准备工作：日常例行统计数据访问记录，统计访问频度较高的热点数据利用LRU数据删除策略，构建数据留存队列。例如：storm与kafka配合准备工作：将统计结果中的数据分类，根据级别，redis优先加载级别较高的热点数据利用分布式多服务器同时进行数据读取，提速数据
2021-09-03 19:37:07
142
原创 Redis集群
文章目录一、集群简介二、Redis集群结构设计三、cluster集群结构搭建四、存取数据五、主从下线与主从切换一、集群简介现状问题业务发展过程中遇到的峰值瓶颈redis提供的服务OPS可以达到10万/秒，当前业务OPS已经达到10万/秒内存单机容量达到256G，当前业务需求内存容量1T使用集群的方式可以快速解决上述问题集群架构集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果集群作用分散单台服务器的访问压力，实现负载均衡分散单台服务器的存储
2021-09-02 18:57:27
257
原创 Redis哨兵（sentinel）模式
主机“宕机”关闭master和所有slave找一个slave作为master修改其他slave的配置，连接新的主启动新的master与slave全量复制N+部分复制N谁来确认master宕机了关闭期间的数据服务谁来承接？找一个主？怎么找法？修改配置后，原始的主恢复了怎么办？哨兵(sentinel) 是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的master并将所有slave连接到新的master。哨兵的作用监控不断的检查maste
2021-09-01 21:52:04
540
转载 Redis主从复制
互联网“三高”架构高并发高性能高可用你的“Redis”是否高可用单机redis的风险与问题问题1：机器故障现象：硬盘故障、系统崩溃本质：数据丢失，很可能对业务造成灾难性打击结论：基本上会放弃使用redis.问题2：容量瓶颈现象：内存不足，从16G升级到64G，从64G升级到128G，无限升级内存本质：穷，硬件条件跟不上结论：放弃使用redis结论：为了避免单点Redis服务器故障，准备多台服务器，互相连通。将数据复制多个副本保存在不同的服务器上，连接在一起，并
2021-08-31 18:55:22
162
原创 Redis 删除策略
一、过期数据Redis中的数据特征Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态XX ：具有时效性的数据-1 ：永久有效的数据-2 ：已经过期的数据 或 被删除的数据 或 未定义的数据127.0.0.1:6380> set name zhangsanOK127.0.0.1:6380> ttl name(integer) -1127.0.0.1:6380> expire name 10(integer) 1127.0
2021-08-30 10:00:30
150
转载 Redis中的事务与锁
文章目录一、事务（一）事务的基本操作（二）事务的工作流程（三）事务的注意事项二、锁（一）监视锁（二）分布式锁（三）分布式锁改良一、事务什么是事务Redis执行指令过程中，多条连续执行的指令被干扰，打断，插队redis事务就是一个命令执行的队列，将一系列预定义命令包装成一个整体（一个队列）。当执行时，一次性按照添加顺序依次执行，中间不会被打断或者干扰。一个队列中，一次性、顺序性、排他性的执行一系列命令（一）事务的基本操作开启事务multi# 作用：设定事务的开启位置，此指令执行后，后续的所有
2021-08-29 12:12:04
126
转载 redis持久化（RDB和AOF）
文章目录一、RDB（一）RDB启动方式 —— save指令（二）RDB启动方式 —— bgsave指令（三）RDB启动方式 —— save配置（四）RDB三种启动方式对比（五）RDB特殊启动形式（六）RDB优缺点二、AOF（一）AOF写数据（二）AOF重写三、RDB与AOF区别什么是持久化?利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。为什么要进行持久化防止数据的意外丢失，确保数据安全性数据持久化方式RDB：将当前数据状态进行保存，快照形式，存储数据
2021-08-28 17:33:10
256
原创 redis数据类型与基本操作
[root@localhost ~]# wget http://download.redis.io/releases/redis-5.0.10.tar.gz
2021-08-26 18:27:30
311
原创 redis入门与安装
2007年10月30日，北京奥运会门票面向境内公众第二阶段预售正式启动。上午一开始，公众提交申请空前踊跃。上午9时至10时，官方票务网站的浏览量达到了800万次，票务呼叫中心热线从9时至10时的呼入量超过了380万人次。由于瞬间访问数量过大，技术系统应对不畅，造成很多申购者无法及时提交申请，为此北京奥组委票务中心对广大公众未能及时、便捷地实现奥运门票预订表示歉意。...
2021-08-25 10:21:25
139
原创 ELK收集Nginx访问日志实战案例
9.2、Nginx的日志格式与日志变量Nginx跟Apache一样，都支持自定义输出日志格式，在进行Nginx日志格式定义前，先来了解一下关于多层代理获取用户真实IP的几个概念。 remote_addr：表示客户端地址，但有个条件，如果没有使用代理，这个地址就是客户端的真实IP，如果使用了代理，这个地址就是上层代理的IP。 X-Forwarded-For：简称XFF，这是一个HTTP扩展头，格式为 X-Forwarded-For: client, proxy1, proxy2，如果一个HTTP请
2021-08-15 16:45:47
1565
2
原创 ELK收集Apache访问日志实战案例
ELK收集日志常用的有两种方式，分别是：1. 不修改源日志的格式，而是通过logstash的grok方式进行过滤、清洗，将原始无规则的日志转换为规则的日志。2. 修改源日志输出格式，按照需要的日志格式输出规则日志，logstash只负责日志的收集和传输，不对日志做任何的过滤清洗。这两种方式各有优缺点，第一种方式不用修改原始日志输出格式，直接通过logstash的grok方式进行过滤分析，好处是对线上业务系统无任何影响，缺点是logstash的grok方式在高压力情况下会成为性能瓶颈，如果要分析的日志量
2021-08-14 10:30:53
473
原创 Logstash配置语法
文章目录Logstash基本语法组成Logstash输入插件(Input)Logstash编码插件(Codec)Logstash过滤器插件(Filter插件)Logstash输出插件（output）Logstash基本语法组成logstash之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。Logstash配置文件有如下三部分组成，其中input、output部分是必须配置，filt
2021-08-11 18:46:43
3762
原创 filebeat基础
什么是FilebeatFilebeat是一个开源的文本日志收集器，它是elastic公司Beats数据采集产品的一个子产品，采用go语言开发，一般安装在业务服务器上作为代理来监测日志目录或特定的日志文件，并把它们发送到logstash、elasticsearch、redis或Kafka等。 可以在官方地址https://www.elastic.co/cn/downloads/beats下载各个版本的Filebeat。Filebeat架构与运行原理Filebeat是一个轻量级的日志监测、传输工具，它最大
2021-08-10 22:06:53
625
原创 kafka基础
kafka基本概念Kafka是一种高吞吐量的分布式发布/订阅消息系统，这是官方对kafka的定义，kafka是Apache组织下的一个开源系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop平台的数据分析、低时延的实时系统、storm/spark流式处理引擎等。kafka现在它已被多家大型公司作为多种类型的数据管道和消息系统使用。kafka角色术语在介绍架构之前，先了解下kafka中一些核心概念和各种角色。Broker：Kafka集群包含一个或多个服务器，每个服务
2021-08-09 15:26:20
225
原创 ZooKeeper基础
ZooKeeper概念介绍在介绍ZooKeeper之前，有必要先说明一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。首先说明什么是分布式系统：所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个地域的服务器组成的一个应用系统，在第一台机器上挂载了一个资源，然后这三个地域分布的应用进程都要竞争这个资源，
2021-08-08 09:33:26
118
转载 LVS+Keepalived+Nginx+Tomcat+Redis主从+sentinel+MySQL主从复制，读写分离实现高可用负载均衡，动静分离和Session会话共享
前提说明：企业中，随着用户的增长，访问的数据量也越来越大，之前的环境已不足以支持日常的工作，随之也就出现了各种应用的瓶颈问题，既然问题出现了，我们就得想办法解决，一般的网站环境下，均会用到LAMP或者LNMP或者Tomcat等Web服务器，而对于我们网站环境的优化，除了对源代码优化，进行一些配置调优，Sql创建索引，增大内存和读写速度以外，我们还可以对环境架构进行优化和扩展。因此，我们引用了LVS做代理服务器进行负载均衡，Nginx对站点实现动静分离，来加快网站的访问速度。引入负载均衡技术后这里就有这
2021-08-07 12:40:58
1702
原创 Nginx之URL重写模块 ngx_http_rewrite_module
Rewrite是Nginx服务器提供的一个重要基本功能，是Web服务器产品中几乎必备的功能。主要的作用是用来实现URL的重写。注意：Nginx服务器的Rewrite功能的实现依赖于PCRE的支持，因此在编译安装Nginx服务之前，需要安装PCRE库（正则表达式库）。Nginx使用的是ngx_http_rewrite_module模块来解析和处理Rewrite功能的相关配置（nginx默认将该模块编译进来）。Rewrite的相关配置指令set指令该指令用来设置一个新的变量语法set $va
2021-08-04 10:53:23
1021
原创 Nginx之负载均衡模块 ngx_http_upstream_module
为什么要使用负载均衡当Web服务器直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，那么就需要使用多台Web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到后端服务器集群中，实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾。为什么要使用集群?高性能（Performance）价格有效性（Cost-effectiveness）可伸缩性（Scalability）高可用性（Availability）可管理性（Manageability）集群的分类负载均衡集群（Lo
2021-07-30 20:59:57
2671
1
原创 Nginx之代理模块 ngx_http_proxy_module
正向代理正向代理是指位于客户机（A）和站点服务器（B）之间的代理服务器（C），为了从站点服务器（B）获取资源，客户机（A）向代理服务器（C）发送请求并指定站点服务器（B），然后代理服务器（C）向站点服务器（B）转交请求并将获取的资源返回给客户机（A）。上述这样的代理模式称为正向代理，正向代理最大的特点：客户端非常明确要访问的服务器地址；服务器只清楚请求来自哪个代理服务器，而不清楚来自哪个具体的客户端；正向代理模式屏蔽或者隐藏了真实客户端信息。反向代理客户端给服务器发送的请求，nginx服
2021-07-30 14:43:24
3505
原创 Pinpoint分布式系统性能监控工具
一、pinpoint简介pinpoint是一个分析大型分布式系统的平台，提供解决方案来处理海量跟踪数据，主要面向基于tomcat的Java 应用。存在理由：和如今相比， 过去的因特网的用户数量相对较小，而因特网服务的架构也没那么复杂。web服务通常使用两层(web服务器和数据库)或三层（web服务器，应用服务器和数据库）架构。然而在如今，随着互联网的成长，需要支持大量的并发连接，并且需要将功能和服务有机结合，导致更加复杂的软件栈组合。更确切地说，比三层层次更多的n层架构变得更加普遍。系统的复杂度
2021-07-28 19:45:16
1594
原创 KVM虚拟机磁盘、快照、克隆
KVM磁盘格式raw：裸格式，指定多大就创建多大，直接占用指定大小的空间，性能较好，不方便传输。目前来看，是KVM和XEN默认的格式。因为其原始，有很多原生的特性，例如直接挂载也是一件简单的事情。裸的好处还有就是简单，支持转换成其它格式的虚拟机镜像，（如果其它格式需要转换，有时候还是需要它做为中间格式）。空间使用来看，类似于磁盘，使用多少就是多少（du -h看到的大小就是使用大小）。扩容简单方便，可以在原来的盘上追加空间（可以直接使用dd命令创建该格式的磁盘镜像）cow：曾经qemu的写时
2021-07-25 19:20:19
1468
1
原创 KVM虚拟机网络模式
NAT模式[root@kvm ~]# virt-install \> --name template \ # 虚拟机名> --ram=512 \ # 虚拟机内存大小，单位M> --vcpus=1 \ # 虚拟机CPU核心数> --cdrom=/home/iso/CentOS-7-x86_64-Minimal-1708.iso \ # 镜像文件位置> --disk path=/var/lib/libvirt/images/template.qcow2,
2021-07-25 10:46:29
2995
1
原创 virsh命令行管理工具
virsh是使用 libvirt management API 构建的管理工具。virsh 含义是 virtualization shell 。它有两种工作模式，立即模式和交互模式[root@kvm-server ~]# virsh --help #查看命令帮忙[root@kvm-server ~]# virsh list #显示正在运行的虚拟机[r
2021-07-24 20:47:53
1442
原创 PXE+Kickstart 无人值守安装系统
无人值守系统使用光盘镜像来安装Linux系统的方法，坦白讲，该方法适用于只安装少量Linux系统的情况。如果生产环境中有数百台服务器都需要安装系统，这种方式就不合时宜了。这时，我们就需要使用PXE + TFTP +FTP/HTTP + DHCP + Kickstart服务搭建出一个无人值守安装系统。这种无人值守安装系统可以自动地为数十台服务器安装系统，这一方面将运维人员从重复性的工作中解救出来，也大大提升了系统安装的效率。无人值守安装系统的工作流程如图19-1所示。PXE（Preboot eXecu
2021-07-24 20:43:27
928
5
原创 KVM安装及使用
目的：在win10操作系统上使用 VMware WorkStation 创建Linux虚拟机，并在此虚拟机中安装 KVM，然后使用KVM创建虚拟机环境准备硬件配置：win10 的 CPU 必须支持虚拟化技术，并在 BIOS设置为启动Virtualization Technology Enabled VMware WorkStation 中创建Linux虚拟机2U2G、SCSI 20G、NAT，镜像文件：CentOS-7-x86_64-Minimal-1908.iso安装完成后，修改
2021-07-23 22:43:27
4108
8
原创 KVM虚拟化
文章目录KVM简介KVM的历史KVM体系架构KVM运行视图KVM启动环境KVM内核模块组成KVM集中管理与控制工具KVM简介KVM：Kernel-based Virtual Machine，是基于Linux内核的开源虚拟化解决方案，从2.6.20版本开始被合入kernel主分支维护。最初只支持X86平台的上支持VMX或者SVM的CPU，不久后被确认为标准Linux内核的虚拟化方案并逐步支持S390、IA64和PowerPC等体系架构；KVM本身只提供部分的虚拟化功能（虚拟CPU和内存），而由经过特殊改造
2021-07-22 13:29:39
517
原创 虚拟化技术
虚拟化技术云计算的核心技术之一就是虚拟化技术。所谓虚拟化，是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。虚拟化是一种方法，本质上讲是指从逻辑角度而不是物理角度来对资源进行配置，是从单一的逻辑角度来看待不同的物理资源的方法。虚拟化是一种逻辑角度出发的资源配置技术，是物理实际的逻辑抽象。虚拟化特性优势：降低运行成本服务器虚拟化降低了I
2021-07-18 14:19:34
1712
3
原创 云计算概述（5个基本特征、4种部署模型、3种服务类型）
文章目录一、什么是云计算？二、云计算的 5 个基本特征三、云计算的 4 种部署模型（一）私有云（二）社区云（三）公共云（四）混合云四、云计算的3种服务（一）基础架构即服务 (IaaS，Infrastructure as a Service)（二）平台即服务 (PaaS，Platform as a Service)（三）软件即服务 (SaaS，Software as a Service)五、云计算特点（一）优势（二）云计算的劣势云计算可以帮助企业降低IT方面的成本和复杂性，并获得他们蓬勃发展所需的灵活性与敏
2021-07-17 22:04:12
12720
2
转载 Nginx之location匹配规则
什么是location？nginx就是通过拦截到的请求去对配置好的location块（location block）进行请求代理的。被代理的URL去对location后边的字符串（或正则）进行匹配，根据一定的规则选择走哪个location。location作用location指令的作用是根据用户请求的URI来执行不同的应用，也就是根据用户请求的网站URL进行匹配，匹配成功即进行相关的操作。一个server可以有多个location配置, 多个location的优先级该如何区分？location语法
2021-07-15 16:53:12
6769
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人