- 博客(97)
- 收藏
- 关注
RSS订阅原创 Ansible的脚本——playbook剧本
playbooks是 一个不同于使用Ansible命令行执行方式的模式，其功能更强大灵活。简单来说，playbook是一个非常简单的配置管理和多主机部署系统，不同于任何已经存在的模式，可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置，可以按照指定的操作步骤有序执行，支持同步和异步方式。值得注意的是playbook是通过YAML格式来进行描述定义的。
2023-07-31 18:42:59
1704
原创 Ansible自动化运维工具
Ansible是一个基于Python开发的配置管理和应用部署工具，现在也在自动化管理领域大放异彩。它融合了众多老牌运维工具的优点，Pubbet和Saltstack能实现的功能，Ansible基本上都可以实现。Ansible能批量配置、部署、管理上千台主机。比如以前需要切换到每个主机上执行的一或多个操作，使用Ansible只需在固定的一台Ansible控制节点上去完成所有主机的操作。
2023-07-27 18:47:00
763
原创 Docker consul容器服务更新与发现
consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server 和 client。
2023-07-26 19:31:15
659
原创 Docker私有仓库部署和管理
Harbor是VMware公司开源的企业级Docker Registry项目，其目标是帮助用户迅速搭建一个企业级的Docker Registry服务。Harbor以Docker公司开源的Registry为基础，提供了图形管理UI、基于角色的访问控制（Role Based AccessControl）、AD/LDAP集成、以及审计日志（Auditlogging）等企业用户需求的功能，同时还原生支持中文。
2023-07-25 22:37:03
1956
原创 Docker Compose容器的快速编排
Docker Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排（使用一个模板文件定义多个应用容器的启动参数和依赖关系，并使用Docker Compose来根据这个模板文件的配置来启动容器）。
2023-07-25 16:43:03
479
原创 Docker数据管理和镜像创建
因为对于精简的OS，rootfs可以很小，只需要包含最基本的命令、工具和程序库就可以了，因为底层直接用宿主机的kernel，自己只需要提供rootfs就可以了。但是当编写一个新的Dockerfile文件来基于A镜像构建一个镜像（比如为B镜像）时，这时构造A镜像的Dockerfile文件中的ONBUILD指令就生效了，在构建B镜像的过程中，首先会执行ONBUILD指令指定的指令，然后才会执行其它指令。在启动容器的时候，如果不指定对应的端口，在容器外是无法通过网络来访问容器内的服务。
2023-07-23 14:53:14
363
原创 Docker 应用容器引擎
docker 容器默认会把容器内部第一个进程，也就是 pid=1 的程序作为docker容器是否正在运行的依据，如果docker容器中 pid = 1 的进程挂了，那么docker容器便会直接退出，也就是说Docker容器中必须有一个前台进程，否则认为容器已经挂掉。：是创建容器的基础，也是一个只读的模版文件，里面包含容器中的应用程序所需要的所有内容（包含程序运行文件，配置文件，运行库文件，操作系统，依赖包）Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。
2023-07-19 17:09:39
1113
原创 Ceph分布式存储系统相关操作
提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。2、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象。
2023-07-17 14:33:02
582
原创 Ceph分布式存储系统
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储粗略估计，我国70%-80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
2023-07-15 12:27:32
1076
原创 Zookeeper+kafka
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
2023-07-13 18:24:02
1721
原创 ELK插件介绍
Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。grok 使用文本片段切分的方式来切分日志事件。语法：(?举例：捕获10或11和长度的十六进制数的queue_id可以使用表达式(?1,3 })(?grok {如果表达式匹配失败，会生成一个tags字段，字段值为 _grokparsefailure，需要重新检查上边的match配置解析是否正确。
2023-07-12 08:51:45
980
原创 ELK 企业级日志分析系统
ELK平台是一套完整的日志集中处理解决方案，将（简称ES）、Logstash和Kiabana三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。（可以通过HTTP协议来发传输一些命令来控制ES执行一些管理操作）
2023-07-11 15:05:49
1168
原创 分布式监控系统之zabbix6.0二
SNMP，简单网络管理协议，常用于监控网络设备，也能监控支持开启SNMP功能的设备（windows、linux、打印机等）。官方的高可用仅仅针对 Zabbix Server 部分，数据库部分和前端部分需要自行采用各自领域的高可用解决方案。
2023-07-08 09:47:30
642
原创 分布式监控之Zabbix6.0监控系统一
作为一个运维，需要会使用监控系统查看服务器系统性能、应用服务状态和网站流量指标等，利用监控系统的数据去了解网站上线发布的结果和健康状态。通过一个友好的界面进行浏览整个网站所有的服务器状态可以在web前端方便的监控数据可以回溯寻找是事故发生时系统的问题和报警情况zabbix是一个基于web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的问题。
2023-07-06 17:09:29
2610
1
原创 rsync远程同步
rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
2023-07-04 20:25:26
282
原创 Nginx缓存配置
Nginx 不仅仅是一个 Web 服务器，它还可以作为一个缓存服务器使用。通过 Nginx 缓存，可以对一些静态资源或者数据更新频率较低的后端服务做缓存，降低静态资源或后端服务的响应时间，同时也会降低后端的负载。可以在一定程度上，减少服务器的处理请求压力。比如对一些图片，css或js做一些缓存，那么在每次刷新浏览器的时候，就不会重新请求了，而是从缓存里面读取。这样就可以减轻服务器的压力。
2023-07-04 17:07:16
9232
原创 Squid代理服务器配置及CDN简介
Squid主要提供缓存加速、应用层过滤控制的功能CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。简而言之，就是将数据部署在各地的服务器中，通过负载均衡技术，让用户就近获取服务器中的数据。
2023-07-03 15:00:58
2517
原创 Redis高可用方法及配置
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(Master)，后者称为从节点(Slave)；数据的复制是单向的，只能由主节点到从节点。默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。
2023-07-02 16:06:24
1239
原创 Redis的高可用之持久化
RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化)，用二进制压缩存储，保存的文件后缀是rdb；当Redis重新启动时，可以读取快照文件恢复数据。RDB持久化是将进程数据写入文件，而AOF持久化，则是将Redis执行的每次写、删除命令记录到单独的日志文件中，查询操作不会记录;当Redis重启时再次执行AOF文件中的命令来恢复数据。与RDB相比，AOF的实时性更好，因此已成为主流的持久化方案。
2023-06-29 20:27:58
524
原创 Redis数据类型
String是redis最基本的类型，最大能存储512MB的数据，String类型是二进制安全的，即可以存储任何数据、比如数字、图片、序列化对象等列表的元素类型为string，按照插入顺序排序，在列表的头部或尾部添加元素hash用于存储对象。可以采用这样的命名方式：对象类别和ID构成键名，使用字段表示对象的属性，而字段值则存储属性值。如：存储 ID 为 2 的汽车对象。如果Hash中包含很少的字段，那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。
2023-06-28 20:26:18
206
原创 NoSQL之Redis配置与优化
关系型数据库：实例-->数据库-->表(table)-->记录行(row)、数据字段(column)非关系型数据库：实例-->数据库-->集合(collection)-->键值对(key-value)非关系型数据库不需要手动建数据库和集合（表）。Redis（远程字典服务器） 是一个开源的、使用 C 语言编写的 NoSQL 数据库。Redis 基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。
2023-06-28 17:09:42
650
原创 MySQL的MMM高可用
MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）是一套支持双主故障切换和双主日常管理的脚本程序。
2023-06-27 19:44:51
395
原创 MySQL的MHA高可用
MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件MHA的出现就是解决MySQL单点的问题MySQL故障切换过程中，MHA能做到０－３０秒内自动完成故障切换操作MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。
2023-06-27 19:39:17
357
原创 MySQL主从复制与读写分离
读写分离，基本的原理是让数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2023-06-26 18:59:35
3842
原创 MySQL高级SQL语句操作之存储过程
存储过程是一组为了完成特殊功能的SQL语句集合存储过程在使用过程中是将常用或者复杂的工作预先使用SQL语句写好并用一个指定的名称存储起来，这个过程经编译和优化后存储在数据库服务器中。当需要使用该存储过程时，只需要调用它即可。存储过程在执行上比传统SQL速度更快、执行效率更高。执行一次后，会将生成的二进制代码驻留缓冲区，提高执行效率SQL语句加上控制语句的集合，灵活性高在服务器端存储，客户端调用时，降低网络负载可多次重复被调用，可随时修改，不影响客户端调用。
2023-06-23 17:01:57
2491
原创 MySQL高级sql语句操作二
如果有的话，系统就会执行外查询的SQL语句。若是没有的话，那整个SQL语句就不会产生任何结果。分组汇总后统计 score 字段的值是比自己本身的值小的以及 score 字段 和 name 字段都相同的数量。联集，将两个SQL语句的结果合并起来，两个SQL语句所产生的字段需要是同样的数据记录种类。显示第一个SQL语句的结果，且与第二个SQL语句没有交集的结果，且没有重复。是 SQL 用来做为 IF-THEN-ELSE 之类逻辑的关键字。取两个SQL语句结果的交集。
2023-06-22 14:56:38
311
原创 MySQL高级SQL语句操作一
用来过滤由 GROUP BY 语句返回的记录集，通常与 GROUP BY 语句联合使用。HAVING 语句的存在弥补了 WHERE 关键字不能与聚合函数联合使用的不足。对GROUP BY后面的字段的查询结果进行汇总分组，通常是结合聚合函数一起使用的。GROUP BY 有一个。在WHERE 子句或 HAVING 子句中插入另一个 SQL 语句。匹配一个模式来找出我们要的数据记录。ORDER BY作用是按关键字排序。
2023-06-21 13:53:25
359
1
原创 MySQL备份与恢复
如果恢复某条SQL语句以及之后的所有数据，就从这个语句的位置节点或者时间点start。如果恢复某条SQL语句之前的所有数据，就stop在这个语句的位置节点或者时间点。
2023-06-20 14:19:40
1688
原创 MySQL存储引擎
MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引擎。存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式。Mysql常用的存储引擎是MyISAM、InnoDB。MySQL数据库中的组件，负责执行实际的数据I/O操作。MySQL系统中，存储引擎处于文件系统之上，在数据保存到数据文件之前会传输到存储引擎，之后按照各个存储引擎的存储格式进行存储。
2023-06-18 15:35:25
348
原创 Mysql索引介绍
索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址（类似于c语言的链表通过指针指向数据记录的内存地址)。使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据，因此能加快数据库的查询速度。索引是表中一列或者若干列值排序的方法。简单来说索引就好比是一本书的目录，可以根据目录中的页码快速找到所需的内容。建立索引的目的是加快对表中记录的查找或排序。
2023-06-18 11:50:37
359
原创 MySQL数据库高级操作
临时表创建成功之后，使用SHOW TABLES命令是看不到创建的临时表的，临时表会在连接退出后被销毁。如果在退出连接之前，也可以可执行增删改查等操作，比如使用 DROP TABLE 语句手动直接删除临时表。：与外键关联的主表的字段必须设置为主键。要求从表不能是临时表，主从表的字段具备相同的数据类型、字符长度和约束。外键的定义：如果同一个属性字段X在表一中是主键，而在表二中不是主键，则字段X称为表二的外键。克隆表就是将数据表的数据记录生成到新的表中。int(N) zerofill 零填充。
2023-06-14 18:59:36
638
1
原创 MySQL数据库及基础操作
SQL Server（微软）面向Windows操作系统，简单、易用。Oracle（甲骨文）面向所有主流平台，安全、完善、操作复杂。DB2（IBM）面向所有主流平台，大型、安全、完善。MySQL（甲骨文收购）免费、开源、体积小。
2023-06-14 16:12:25
643
原创 Haproxy搭建负载均衡
Haproxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。Haproxy非常适用于并发大（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。Haproxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。默认 haproxy 的日志是输出到系统的 syslog 中，查看起来不是非常方便，为了更好的管理 haproxy 的日志，我们在生产环境中一般单独定义出来。
2023-06-12 14:59:35
2657
原创 LVS+Keepalived高可用负载均衡群集
keepalived是集群管理中保证高可用的一个服务软件，用来防止单点故障。keepalived的作用是监测服务器的状态，如果有一台服务器岩机，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器工作。
2023-06-11 14:43:04
1388
原创 部署DR模式 LVS负载均衡群集
修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。
2023-06-08 16:24:39
615
原创 LVS负载均衡群集
Cluster，群集或者集群由多台主机构成，但对外之表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机。
2023-06-07 18:30:05
787
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人