- 博客(44)
- 资源 (2)
- 收藏
- 关注
原创 用docker搭建部署Gravitee.io API管理平台
1、Gravitee.io API管理平台简介Gravitee.io API管理是一种灵活,轻便且快速的开源解决方案,可帮助您的组织控制用户,何时以及如何访问您的API。轻松管理API的生命周期。2、部署Download docker-compose file,因为是国外的网站,很不稳定,我直接复制到下面,参考下面的docker-compose$ curl -L https://raw.githubusercontent.com/gravitee-io/gravitee-docker/master/
2021-06-16 17:28:31
1811
原创 Crapapi管理平台的搭建
Crapapi1.Crapapi管理平台简介一个由angularjs+bootstrap+springMVC搭建的高性能的免费开源的API接口、文档管理系统(应用接口管理系统)具体详情可参考官方文档http://api.crap.cn/2.Crapapi主要功能项目管理、用户管理、模块管理、BUG管理、接口管理、接口版本管理、接口拷贝、接口文档pdf下载、接口mock、模块加密访问、接口在线调试、数据字典管理、数据字典加密访问多管理员、多权限、自定义菜单、自定义网站样式、文档留言、错误码管理
2021-06-16 17:17:36
971
原创 用docker搭建部署API Umbrella
一、API Umbrella 介绍1.什么是API Umbrella ?API Umbrella 是用于公开Web服务API的开源API管理平台。API Umbrella 的基本目标是使API创建者和API使用者的生活更加轻松。2.api-umbrella提供两个视角管理员:设定API映射普通用户:注册系统账号获得API KEY,并使用API KEY调用API3.按照两个视角试用1)admin视角--首先作为平台管理员添加一个REST API--访问http://10.0.0.10/
2021-06-16 16:45:36
1408
原创 zabbix API及性能优化
zabbix API及性能优化一、zabbix API 概述1.Zabbix API允许你以编程方式检索和修改Zabbix的配置,并提供对历史数据的访问。它广泛用于:1.创建新的应用程序以使用Zabbix;2.将Zabbix与第三方软件集成;3.自动执行常规任务。2.Zabbix API是基于Web的API,作为Web前端的一部分提供。它使用JSON-RPC 2.0协议,这意味着两件事:1)该API包含一组独立的方法;2)客户端和API之间的请求和响应使用JSON格式进行编码。3.
2021-05-01 08:21:18
594
3
原创 zabbix分布式监控
zabbix分布式监控一、zabbix分布式监控概述 1.Zabbix通过Zabbix proxies为IT基础设施提供有效和可用的分布式监控代理(proxies)可用于代替Zabbix server本地收集数据,然后将数据报告给服务器。 2.proxy特征当选择使用/不使用proxy时,必须考虑几个注意事项。项。Proxy轻量级(Lightweight)Yes图形界面(GUI)No独立工作(Works independently)Yes易于维
2021-05-01 08:18:15
451
1
原创 zabbix自动化监控
zabbix自动化监控一、zabbix自动发现(被动)网络发现官方手册1.概述Zabbix提供了有效和非常灵活的网络自动发现功能。当网络发现正确设置后你可以:1.加快Zabbix部署2.简化管理3.无需过多管理就能在快速变化的环境中使用ZabbixZabbix网络发现基于以下信息:1.IP范围2.可用的外部服务(FTP,SSH,WEB,POP3,IMAP,TCP等)3.来自 zabbix agent 的信息(仅支持未加密模式)4.来自 snmp agent 的信息不
2021-05-01 08:11:58
424
2
原创 zabbix深入应用监控
zabbix深入应用监控错误排查思路 1.检查IP和端口 2.检查firewalld和zabbix 3.检查配置文件 4.重载服务 5.关注日志一、zabbix如何监控Nginx1.监控nginx的状态要怎么做?方法一:1.端口是否正常2.stub_status 7种状态1)安装nginx2)开启stub_staus3)获取每个状态指标[root@db02 ~]# cd /etc/zabbix/zabbix_agentd.d/[root@db02 zabbix_ag
2021-04-30 08:40:55
416
1
原创 MongoDB备份及恢复
MongoDB备份及恢复一、备份恢复介绍1.备份恢复工具介绍:(1)** mongoexport/mongoimport(2)***** mongodump/mongorestore2.备份工具区别在哪里?应用场景总结:mongoexport/mongoimport:json csv 1、异构平台迁移 mysql <---> mongodb2、同平台,跨大版本:mongodb 2 ----> mongodb 3mongodump/mongorestore
2021-04-26 20:18:55
403
原创 MongoDB分布式架构集群介绍
MongoDB分布式架构集群一、MongoDB Sharding Cluster 分片集群1.画图说明mongos:接收请求和路由请求config servers:记录所有节点信息shard:存储数据1.规划10个实例:38017-38026--configserver:38018-380203台构成的复制集(1主两从,不支持arbiter)38018-38020(复制集名字configsvr)--shard节点:sh1:38021-23 (1主两从,其中一个节点为arb
2021-04-26 15:06:52
620
原创 MongoDB集群(Replication Set)介绍与配置
MongoDB复制集RS一、什么是MongoDB复制集RS(ReplicationSet)1.基本原理1)画图说明2)文字说明基本构成是1主2从的结构,自带互相监控投票机制(Raft(MongoDB) Paxos(mysql MGR 用的是变种))如果发生主库宕机,复制集内部会进行投票选举,选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知客户端程序,主库已经发生切换了。应用就会连接到新的主库。自带高可用,自动监控,自动切换,自动选主二、主从复制Replication
2021-04-25 21:34:22
605
原创 MOngoDB基础操作及用户权限管理
MongoDB常用基础操作及用户权限管理一、mongodb常用基本操作1.mongodb 默认存在的库--查看库show databases;admin 0.000GBconfig 0.000GBlocal 0.000GB--查看当前所在的库db--库的介绍test:登录时默认存在的库()管理MongoDB有关的系统库admin库:系统预留库,MongoDB系统管理库local库:本地预留库,存储关键日志config库:MongoDB配置信息库show dat
2021-04-25 20:33:52
363
原创 MongoDB介绍与安装
MongoDB — 文档类的数据库官网:https://www.mongodb.commongodb的默认端口是27017是基于json格式的存储{ id :1309 name:coco age :18}一、逻辑结构Mongodb 逻辑结构 MySQL逻辑结构库database 库集合(collection)
2021-04-25 20:31:45
258
原创 Redis集群与多API支持介绍
Redis集群与多API支持一、Redis集群 — redis cluster画图说明1.Redis集群介绍key:value分成三份均匀的分布到slot中一套集群中,slot总共16384个,平均分配在各个分片节点上,slot编号:0-163831)高性能1、在多分片节点中,将16384个槽位,均匀分布到多个分片节点中2、存数据时,将key做crc16(key),然后和16384进行取模,得出槽位值(0-16383之间)3、根据计算得出的槽位值,找到相对应的分片节点的主节点,存储
2021-04-22 20:33:47
266
原创 Redis主从模式与哨兵模式介绍
Redis主从模式与哨兵模式一、Redis(Master-Replicaset)主从复制1.原理1)画图说明2)文字说明1. 副本库通过slaveof 10.0.0.51 6379命令,连接主库,并发送SYNC给主库 2. 主库收到SYNC,会立即触发BGSAVE,后台保存RDB,发送给副本库3. 副本库接收后会应用RDB快照4. 主库会陆续将中间产生的新的操作,保存并发送给副本库5. 到此,我们主复制集就正常工作了6. 再此以后,主库只要发生新的操作,都会以命令传播的形式自动发送给副
2021-04-22 20:29:33
3764
原创 Redis基础管理命令
Redis的key的通用操作和服务管理命令一、KEY的通用操作KEYS * keys a * keys *a* 查看已存在所有键的名字 # keys * 查询所有键的名字,但是不建议使用,键值对多的时候,会非常消耗资源TYPE 返回键所存储值的类型 EXPIRE\ PEXPIRE 以秒\毫秒设定生存时间 TTL\ PTTL 以秒\毫秒为单位返回生存时间 P
2021-04-22 15:20:08
131
1
原创 Redis事务
什么是Redis事务?一、Redis事务介绍redis的事务是基于队列实现的。mysql的事务是基于事务日志和锁机制实现的。redis是乐观锁机制。开启事务功能时(multi)multi command1 command2command3command4exec discard4条语句作为一个组,并没有真正执行,而是被放入同一队列中。如果,这是执行discard,会直接丢弃队列中所有的命令,而不是做回滚。exec当执行exec时,对列中所有操作,要么全成功要么全
2021-04-22 15:15:08
114
原创 Redis消息模式
Redis消息模式有哪几种形式?一、redis消息模式详细介绍1.画图说明2.介绍消息模式是为了帮助解决在架构中,资源有效利用方面提供有效的协调redis的消息模式有两种形式: 消息队列 发布订阅二、发布订阅功能—类似于广播站1.构成角色pulisher 发布者channel 频道subsrciber 订阅者2.发布订阅功能--窗口1:必须要先订阅127.0.0.1:6379> SUBSCRIBE fm1309--窗口2:另一个界面发送消息
2021-04-22 15:12:59
340
原创 Redis的多数据类型支持介绍
一、redis数据类型有哪些?String 字符串类型Hash 哈希类型/字典类型(应用最广泛)List 列表类型Set 集合类型Sorted Set 有序集合二、数据类型存储结构三、各类数据类型应用场景1.String 字符串类型特点:Key value num 10应用场景:1.session 共享,会话缓存2.计数器:微博数,粉丝数,订阅量、礼物--每点一次关注,都执行以下命令一次127.0
2021-04-22 15:09:56
123
原创 Redis数据库介绍与安装
Redis缓存技术一、NoSQL相关产品NOSQL:redis,MongoDB,列存储存储相关newSQL:分布式数据路架构RDBMS:MySQL,Oracle,MSSQL,PG缓存产品介绍:memcachedredistair1.Redis功能介绍数据类型丰富 支持持久化 多种内存分配及回收策略支持事务 消息队列、消息订阅 支持高可用 支持分布式分片集群 (面试) 缓存穿透\雪
2021-04-22 15:06:48
123
1
原创 MySQL运维工具---percona-toolkit
MySQL运维工具—percona-toolkit工具包下载地址:https://www.percona.com/downloads/percona-toolkit/LATEST/percona-toolkit是一组高级命令行工具的集合,可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等1.pt工具安装1)安装依赖包yum install perl-DBIyum install perl-develyum install perl-DBD-MySQLyum
2021-04-20 21:35:55
267
原创 MySQL优化
MySQL优化一、优化哲学1. 为什么做优化?为了获得成就感?为了证实比系统设计者更懂数据库?为了从优化成果来证实优化者更有价值?但通常事实证实的结果往往会和您期待相反!优化有风险,涉足需谨慎!2.优化风险优化不总是对一个单纯的环境进行!还很可能是一个复杂的已投产的系统。优化手段本来就有很大的风险,只不过你没能力意识到和预见到!任何的技术可以解决一个问题,但必然存在带来一个问题的风险!对于优化来说解决问题而带来的问题控制在可接受的范围内才是有成果。保持现状或出现更差的情况都是
2021-04-20 20:57:53
209
原创 MySQL-Mycat分布式架构
Mycat分布式架构一、基础结构1.基础环境准备1)环境准备角色内网ip外网ipdb01172.16.1.5110.0.0.51db02172.16.1.5210.0.0.52每台虚拟机都创建4个MySQL实例:3307,3308,3309,33102)删除历史环境pkill mysqldrm -rf /data/33{07..10}mv /etc/my.cnf /etc.my.cnf.bak3)创建相关目录初始化数据mkdir /data
2021-04-20 20:10:41
163
原创 GitLab介绍与使用
一、GitLab介绍官网:https://about.gitlab.com/Gitlab是依赖于Git的远程代码仓库,类似于GitHub、Gitee,不同的是GitHub、Gitee的公网上代码仓库, Gitlab是可以私有化部署的免费远程代码仓库阿里云镜像仓库:https://code.aliyun.com/code_account/edit二、部署GitLab详细步骤1.准备服务器10.0.0.8 gitlab--修改hots文件[root@web02 ~]# vim /etc
2021-04-19 15:35:08
925
原创 流水线详细介绍与代码管理工具Git
一、 持续集成简介1.介绍1、将代码上传到服务器,然后解压2、将代码上传到服务器中,然后通过软连接的方式部署无法实现批量部署,无法实现批量回滚,更无法实现批量测试。cd /opt/mkdir deployrz index.zipunzip index.zip rm -rf index.zip yum install lrzsz -ymv index.html /usr/share/nginx/html/访问10.0.0.8# 批量部署,批量测试源代码管理协同开发
2021-04-19 15:20:04
2456
原创 MySQL-Atlas读写分离
Altas读写分离一、什么是Atlas读写分离?Atlas的端口是多少?Atlas 端口:33060admin 端口: 23451.画图说明2.文字说明 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。下载地址https://github.
2021-04-16 16:19:41
137
原创 MySQL-MHA高可用
MHA高可用一、 MHA高可用简介MHA能够在较短的时间内实现自动故障检测和故障转移,通常在10-30秒以内;在复制框架中,MHA能够很好地解决复制过程中的数据一致性问题,由于不需要在现有的replication中添加额外的服务器,仅需要一个manager节点,而一个Manager能管理多套复制,所以能大大地节约服务器的数量;另外,安装简单,无性能损耗,以及不需要修改现有的复制部署也是它的优势之处。MHA还提供在线主库切换的功能,能够安全地切换当前运行的主库到一个新的主库中(通过将从库提升为主库),大
2021-04-16 15:35:31
620
原创 MySQL主从复制高级进阶
一、延时从库1.介绍普通的主从复制,处理物理故障比较擅长如果主库出现了drop database 操作延时从库:主库做了某项操作之后,从库延时多长时间回放(SQL),可以处理逻辑损坏SQL线程延时:数据已经写入relay-log中了,SQL线程“慢点”运行企业一般延时3-6小时1.1为什么要有延时从库数据库故障?物理损坏主从复制非常擅长解决物理损坏逻辑损坏普通主从复制没办法解决逻辑损坏2.延从库配置1)已经有主从的情况下1.停止主从 mysql> stop slav
2021-04-13 08:44:39
217
原创 MySQL主从复制基础
主从复制(Replication)一、主从介绍1.介绍两台或以上数据库实例,通过二进制日志,实现数据的“同步”关系1. 基于二进制日志复制的2.主库的修改操作会记录二进制日志3.从库会请求新的二进制日志并回放,最终达到主从数据同步4. 主从复制核心功能:辅助备份,处理物理损坏 扩展新型的架构:高可用,高性能,分布式架构等2.主从复制前提(搭建过程)时间同步至少2台以上实例,要有不同角色换分,server_id主库开binlog网络畅通开启专
2021-04-11 20:55:58
504
1
原创 MySQL备份与恢复
一、MySQL数据损坏类型1.物理损坏1)磁盘损坏:硬件,磁道,dd,格式化2)文件损坏:数据文件损坏,redo损坏2.逻辑损坏dropdeletetruncateupdate二、运维人员在备份,恢复的职责1.设计备份,容灾策略1.1 备份策略: 1)备份工具选择 2)备份周期设计 3)备份监控方法备份方式:全备:全库备份,备份所有数据增量:备份变化的数据逻辑备份=mysqldump+mysqlbinlog物理备份=xtrabackup_full+xtra
2021-04-08 17:22:35
210
原创 zabbix如何网站监控web
zabbix-网站监控web一、web场景监测概述1.在web网站中什么是动态网站,什么是静态网站 1)静态网站:纯静态网站就是服务器的源代码和客户端的源代码一致。 2)动态网站:比如: <?php phpinfo()?> 每次用户访问的时候,内容都是在内存中动态生成的。动态网站支持登陆,支持用户交互,所以用户在请求动态网站时,会给客户端下发一个叫sessionID的内容,那么客户端则会将SessionID保存至浏览器的cookie中。2.当用户访问web网站时,session和c
2021-03-18 23:09:46
9622
2
原创 zabbix企业微信报警
一、企业微信号申请https://work.weixin.qq.com/1.申请企业微信账号并设置(此处步骤省略)2.添加应用1)编辑weixin.py脚本文件#!/usr/bin/env python#-*- coding: utf-8 -*-#author: zhang#date: 2019-04-07#comment: zabbix接入微信报警脚本 import requestsimport sysimport osimport jsonimport logging
2021-03-17 18:34:28
420
原创 zabbix深入自定义监控
一、自定义监控项-ssh端口1.监控主机的22端口每个zabbix事件需要大概170字节的磁盘空间,很难估计zabbix每天生成的时间数量,最糟糕的情况下,我们会1秒生成一个事件,如果我们需要保留3年的事件,需要3365243600170=15GB的磁盘空间。下表列出了用于计算zabbix系统所需次哦按空间的计算公式:#历史数据保留90天[root@zabbix ~]# pythonPython 2.7.5 (default, Apr 2 2020, 13:16:51) [GCC 4.8
2021-03-17 12:23:16
234
原创 zabbix监控基础架构
zabbix-agent(数据采集) --> zabbix-server(数据分析\报警) --> 数据库(数据存储) --> zabbix-web(数据展示)一、zabbix数据库拆分目前zabbix的架构:--单台zabbix服务:LAMP+zabbix需要实现zabbix架构,将数据库拆分成单独的一台,LAP+zabbix+MySQL1.环境准备主机名wanIPlanIP角色zabbix10.0.0.71172.16.1.71zabb
2021-03-16 17:14:18
558
1
原创 zabbix监控系统介绍与如何安装zabbix
一、监控系统介绍1.什么是监控?监控系统是整个运维环节,乃至整个产品生命周期中最重要的一个环节,事前及时预警发现故障,事后提供数据用于追查定位问题。2.为什么要做监控?#生活中:1.超市监控,防内外偷2.交通监控:测速,违章#企业中:1.系统的监控:实际是对系统不间断的实时监控2.实时反馈系统当前状态,我们监控某个硬件,或者是某个系统,都是需要能实时看到当前系统的状态,是正常,异常或者是故障3.保证服务可靠性安全性,我们监控的目的就是要保证系统,业务能够正常运行4.保证业务持续稳定
2021-03-16 15:10:00
577
原创 MySQL日志管理
日志管理一、错误日志1.作用记录MySQL从启动以来,所有的状态,警告,错误。为我们定位数据库问题,提供帮助2.配置方法默认:开启状态位置:datadir#查看存放位置:mysql> select @@datadir;+----------------------+| @@datadir |+----------------------+| /service/mysql/data/ |+----------------------+#定制方法
2021-03-13 20:53:30
148
原创 MySQL事务与事务日志
一、事务1.什么是事务?事务是伴随着《交易类》的业务场景出现的工作机制保证交易的“和谐”#交易?物换物货币换物#计算机中:算数运算--例如:A给B发红包开启一个事务A账户(100元):(1)update A-100元B账户(0元) :(2)update B+100元事务结束2.事务 ACID 标准特殊性A(atomicity):原子性原子是物质的最小构成单元,具备不可再分的特性在一个事务工作单元中B(consistency):一致性事务发生前,中,后,都应该保
2021-03-11 14:38:48
192
原创 MySQL-存储引擎
一、存储引擎介绍1.什么是存储引擎?相当于mysql内置的文件系统。与linux中的文件系统打交道的层次结构2.MySQL存储引擎的种类2.1 Oracle MySQL可以针对不同的表,设定不同的存储引擎#查看当前版本支持的存储引擎mysql> mysql> shows;InnoDBMRG_MYISAM MEMORYBLACKHOLE MyISAM CSV ARCHIVE PERFORMA
2021-03-10 19:19:59
128
原创 MySQL-索引及执行计划
一、索引1.索引的作用提供了类似于书中目录的作用,目的是为了优化查询2.索引的种类B树索引Hash索引R树Full textGIS二、Btree介绍及算法结构图1.介绍遍历--->二叉树--->平衡二叉树--->Balance Tree1.1Btree查找算法图1.2Btree种类B-TreeB+Tree:在范围查询方面提供了更好的性能(> < >= <= like)B*Tree四、MySQL B+Tree索引构建过程1.
2021-03-10 19:13:01
407
原创 MySQL应用
一、SQL应用1.client端help(打印出client端的内置命令)\c :结束上条命令运行\G :格式化输出exit :退出MySQL会话\q :退出MySQL会话ctrl+D :退出MySQL会话source :导入SQL脚本,类似于 <mysql> source /root/word.sqlsystem:调用linux命令mysql> system ls;anaconda-ks.cfgmysql> system c
2021-03-10 18:52:14
333
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人