- 博客(21)
- 收藏
- 关注
RSS订阅原创 XtraBackup企业实战
说明：第一次全备，第二次在全备的基础上做增量，第三次在第二次增量备份上做增量，同理第四次在第三次的基础上做增量…(恢复的时候也是依次，第一次整合全备，第二次全备基础是整合增量备份的。备注:对于使用XtraBackup进行备份的情况，全量和增量备份是分别针对一个干净的目标数据目录进行的。查看to_lsn起始值与from_lsn结束值能否对应。查看to_lsn起始值与from_lsn结束值能否对应。第二次增量备份:一定是基于第一次增量备份基础上操作。3、执行第一次增量备份的日志。4、执行第二次增量备份的日志。
2023-06-30 11:49:24
392
2
原创 线上生产环境mha-mysql+mycat+keepalived+haproxy
一、高可用架构图MHA简介:MHA（master high availability）是成熟的MySQL高可用解决方案。MHA可以在30秒内实现故障切换，尽可能保证数据的一致性。目前淘宝也在开发类似的产品TMHA，支持一主一从/一主多从。MHA结构:该软件由两部分组成：MHA Manager（管理节点）和MHA node(数据节点).MHA工作原理:（1） 获取从宕机崩溃的 master 保存二进制日志事件（binlog events）；（2） 识别含有最新更新的 slave ；（3） 将
2022-02-17 15:04:11
1343
原创 zabbix+grafana监控可视化
一、zabbix概念与理解将zabbix agent部署到被监控主机上，由agent采集数据，报告给负责监控的中心主机，中心主机也就是master/agent模型中的master，负责监控的中心主机被称为zabbix server，zabbix server将从agent端接收到的信息存储于zabbix的数据库中，我们把zabbix的数据库端称为zabbix database， 如果管理员需要查看各种监控信息，则需要zabbix的GUI，zabbix的GUI是一种Web GUI，我们称之为zabbix w
2022-02-12 09:27:12
2875
原创 全套生产环境监控报警系统(Prometheus+Grafana+alertmanager)
一、什么是promethues?由SoundCloud开发的开源监控报警系统和时序列数据库（TSDB）。二、promethues为什么更适合云监控？云原生使用容器和k8s环境作为运行基础，一个整体的架构被拆散成多个微服务，微服务的变更和扩容频繁，也导致采集的目标信息变化频繁。这给时序监控提出两个要求:需要采集运行在跨多个宿主机上海量pod容器需要及时感知他们的变化同时要构建完整的k8s监控生态，promethues就是为云监控而生。三、promethues比zabbix等优势？Zabbix使
2022-01-26 15:01:34
2434
原创 python爬取成都市档案到档邮件提醒
一、必须要档案到了才能落户当地区域，天天都去成都人才网查看，就觉得很烦，有什么骚操作不用天天起查询呢?是的当然有，python爬取对应接口数据，在通过邮件发送提醒。二、准备工作网站地址:https://s.rc114.com/Doc/Query.aspxF12打开开发者模式:像这种数据传输一般都是与后台数据库交互，想都不用想肯定是post传入，涉及post请求，一般都有form_data一起请求，把他找出来，输入username,身份证ID点击查询会出现真正url:https://s.r
2022-01-18 11:02:47
1535
原创 tomcat理解结合k8s/docker项目优化
tomcat一般部署都很简单，但是对于java程序来说性能优化、内存溢出问题比较多。现在容器化火热java程序与容器化结合问题又是一大堆。1、探讨tomcat工作模式Tomcat做为WEB服务器，OSI七层模型、TCP/IP四层大家要去了解熟悉一哈。三次握手(建立连接)，四次握手(断开连接)。A、Bio默认模式阻塞式IO，一个线程处理一个请求。并发量大的时候，创建的线程数就越多，浪费资源就越多。B、Nio是Java SE 1.4以后续版本提供的一种新的I/O操作方式（即：java.nio包及其
2021-12-27 16:39:05
1022
原创 nginx中proxy_pass有无“/“四种探究
nginx配置中"/“字符苦恼很多小伙伴，看完这一篇吃透”/"。加不加"/",区别真的那么大吗？我们带着这个疑问，来探究下这个问题。location目录匹配详解:nginx每个location都是一个匹配目录，nginx的策略是：访问请求来时，会对访问地址进行解析，从上到下逐个匹配，匹配上就执行对应location大括号中的策略，并根据策略对请求作出相应。1、第一种:加"/"location /test/ { proxy_pass http://localhost:8181/;}测试结果，
2021-12-25 15:29:31
1837
原创 nginx由浅到深完全掌握
1、nginx解读:Nginx由内核和模块组成，其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个location block（location是Nginx配置中的一个指令，用于URL匹配），而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。Nginx相对于Apache优点：1)高并发响应性能非常好，官方Nginx处理静态文件并发5w/s2)反向代理性能非常好。（可用于负载均衡）3)内存和cpu占用率低。（为Apache的
2021-12-25 15:22:44
1146
原创 Kubernetes 构建企业 Jenkins 持续集成平台
K8s中CI/CD持续集成GIitlab介绍：Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具，起源于Hudson（Hudson是商用的），主要用于持续、自动的构建/测试软件项目、监控外部任务的运行（这个比较抽象，暂且写上，不做解释）。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。常用的版本控制工具有SVN、GIT，构建工具有Maven、Ant、Gradle。CI/CDCI(Cont
2021-12-24 11:44:31
388
原创 kvm虚拟化热迁移
一、kvm架构图热迁移架构图：二、kvm概念KVM全称是基于内核的虚拟机(Kernel-based Virtual Machine)，它是一个Linux的一个内核模块，该内核模块使得Linux变成了一个Hypervisor.KVM是需要硬件支持的完全虚拟化。Kvm由内核加载，并使用Linux系统的调试器进行管理，因此KVM对资源的管理效率相对较高。思考?为什么要做热迁移：对于热迁移，比较常用，通常是这台服务器上正在跑着一些业务，而这些业务又不允许中断，那么就需要使用热迁移，保证业务可持续性。
2021-12-11 16:56:03
2386
原创 基于ansible RabbitMQ高可用集群
一、什么是消息队列简单通俗讲生产者产生一个消息发送到队列中，队列负责存放消息，消费者从队列中拉取消息。生产者只管发送消息，消费者只管接收消息。二、为什么使用消息队列其实就是在生产环境中的应用场景。核心就三个:解耦、异步、削峰。解耦:列如接口调用，A,B,C,D四个接口，BCD调用A接口，此时新增加E接口，去调用A接口，此时某一个接口不使用了A怎么办？如果同时其他BCDE接口down掉，怎么处理？此时引入MQ，A产生数据发送到MQ队列中，其他接口只需要从队列中拉取就行，不需要考虑拉取失败，超时等。
2021-11-05 15:31:08
1865
1
原创 ELK分布式集群日志分析系统
一、基本概念： ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。ELK日志系统数据流图如下：一个完整的集中式日志系统，需要包含以
2021-06-30 18:02:18
343
原创 window-server服务器监控自动化(cpu、mem、disk)--＞钉钉报警
一、windows-server服务太多，cpu、disk异常等如何报警?服务器down还没有发现 业务停止 损失巨大。接下来看我骚操作二、安装相应的库(自行安装，这里用的是python3.8,pycharm)import psutilimport requestsimport timeimport datetimeimport socketimport os三、创建空字典,列表cpu_info={'user':0, 'system':0, 'idle':0, 'percent'
2021-06-15 17:58:07
7290
4
原创 mysql主从复制与读写分离
一张图安排明明白白—>系好安全带上高速:一、主从复制概念理解:主从复制分为：半同步复制和异步复制，主从复制默认是异步复制主从复制原理：MySQL的主从复制是一个异步的复制过程（虽然一般情况下感觉是实时的），数据将从一个MySQL数据库（Master）复制到另一个MySQL数据库（Slave），在Master和Slave之间实现整个主从复制的过程是由三个线程参与完成的。其中两个线程（SQL线程和IO线程）在Slave端，另一个线程（I/O线程）在Master端。要实现MySQL的主从复制，首
2021-06-11 15:09:25
231
1
原创 自动化携程酒店爬虫
一、查看chrome版本浏览器:chrome://version/二、下载传送门url：http://chromedriver.storage.googleapis.com/index.html根据自己的版本进行下载放入C:\Program Files\Google\Chrome\Application三、由于携程
2021-06-11 14:03:23
4150
21
原创 windows-server服务器日志清理python编写小工具
一、分析服务器日志服务器日志分析，年月日 _Fatal/Info二、开始编写(实现清除3天前创建的日志文件，即删除日志文件中时间是三天前的文件)#coding=utf-8import os,time,datetimedef strToTimestamp(time_st,format=’%Y%m%d%H%M%S’):t=time.strptime(time_st,format) #把格式化好的时间转成时间元组res = time.mktime(t) #时间元组转成时间戳return res
2021-06-10 15:52:24
368
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人