- 博客(94)
- 收藏
- 关注
RSS订阅原创 Docker 的数据管理 端口映射 容器互联 镜像的创建
如果需要在容器之间共享一些数据，最简单的方法就是使用数据卷容器。数据卷容器是一个普通的容器，专门提供数据卷给其他容器挂载使用。
2024-04-25 17:49:34
418
1
原创 Docker 网络和资源控制
容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。Container：创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。None该模式关闭了容器的网络功能。Bridge默认为该模式，此模式会为每一个容器分配、设置IP等，并将容器连接到一个docker0虚拟网桥，通过docker0网桥以及iptables nat 表配置与宿主机通信。自定义网络直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错。
2024-04-24 19:54:53
777
原创 Docker 基本管理
Docker是一个开源的应用容器引擎，基于go语言开发并遵循了apache2.0协议开源。Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。Docker 的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。Docker的Logo设计为蓝色鲸鱼，拖着许多集装箱。鲸鱼可看作为宿主机，集装箱可理解为相互隔离的容器，每个集装箱中都包含自己的应用程序。Docker的设计宗旨。
2024-04-22 23:36:32
807
1
原创 zabbix 自动发现与自动注册 部署 zabbix 代理服务器
缺点是可能因为配置文件配置错误或者网络不通等原因导致 zabbix agent2 可能找不到 zabbix server。abbix agent2 会主动上报自己的信息，发给 zabbix server。点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除。点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除。点击左边菜单栏规则，点击 禁用【配置】中的【自动发现】，勾选发现。.确保客户端上的 zabbix-agent2 服务状态正常。随后，再去配置中主机查看，客户端出现了。
2024-04-16 23:52:20
368
原创 zabbix解析以及安装
zabbix agent安装在被监控的主机上，zabbix agent负责定期收集客户端本地各项数据，并发送至 zabbix server 端，zabbix server 收到数据后，将数据存储到数据库中，用户基于 Zabbix WEB 可以看到数据在前端展现图像。●zabbix server：zabbix 服务端守护进程，其中 zabbix_agent、zabbix_get、zabbix_sender、zabbix_proxy 的数据最终都提交给 zabbix server;
2024-04-15 23:10:33
884
原创 kafka的概念以及Zookeeper集群 + Kafka集群 +elfk集群
此时表明当定下leader之后，即使出现了比leader大的mysid 也不会改变leader的地位，就比如node3 的mysid为3，node2的mysid为2，即使3大于2，当定下node2为leader时，node3依然是追随者。/配置 Zookeeper 启动脚本 在zookeeper-3.5.7的bin下面。node3 192.168.68.7配置 配置不需要修改，唯一要改的也是myid。这边的配置不需要改，都是一样的，唯一要改的myid。写一个启动脚本 node1 2 3 都要同时操作。
2024-04-12 17:37:58
471
原创 ELK企业级日志分析系统以及多种部署
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。一款强大的数据处理工具。
2024-04-10 18:55:04
745
原创 GFS 分布式文件系统
GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。
2024-04-08 22:59:00
773
原创 rsync 远程同步
rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
2024-04-07 22:29:28
631
原创 redis群集有三种模式
简要说明：第一次slave会发送一个sync（同步）的命令给master，同步之后，master会执行bgsave命令进行持久化，生成rdb文件，在生成rdb持久化期间，如有新的写操作命令，则会记录在缓冲区里面（增量备份），持久化完毕之后，会将rdb文件发送给slave，随后slave会发送一个psync的命令告诉master已经加载完rdb文件，并要求把缓冲区里面的命令再发给slave，随后master会将缓冲区里面的命令更新给slave，此时此刻，master与slave数据同步。
2024-04-03 17:38:57
924
原创 redis之穿透、击穿、雪崩
读取数据时，先从redis读取数据，如果redis中没有，再从mysql中读取数据，并将读取到的数据同步到redis缓存中。更新数据时，先更新mysql数据库，再更新redis缓存删除数据时，先删除redis缓存，再删除mysql数据库对于一些关键数据，可以使用mysql的触发器来实现同步更新redis缓存、可可以使用定时任务，定时自动进行缓存预热，来定期同步mysql和redis的数据。
2024-04-03 15:21:34
933
1
原创 redis持久化管理
●内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率。●内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正在进行内存交换。●内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低，也说明 Redis 没有发生内存交换。redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换。当达到设置的最大阀值时，需选择一种key的回收策略，默认情况下回收策略是禁止删除。内存清理策略，保证合理分配redis有限的内存资源。
2024-04-03 14:24:01
301
原创 redis持久化
Redis载入AOF文件时，会对AOF文件进行校验，如果文件损坏，则日志中会打印错误，Redis启动失败。但如果是AOF文件结尾不完整(机器突然宕机等容易导致文件尾部不完整)，且aof-load-truncated参数开启，则日志中会输出警告，Redis忽略掉AOF文件的尾部，启动成功。当下次Redis重启时，利用持久化文件实现数据恢复。缺点：RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化，而在数据越来越重要的今天，数据的大量丢失很多时候是无法接受的，因此AOF持久化成为主流。
2024-04-02 23:14:26
763
原创 NoSQL之 Redis配置
Redis（远程字典服务器） 是一个开源的、使用 C 语言编写的 NoSQL 数据库。Redis 基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；
2024-04-01 23:11:14
1246
原创 mysql故障及解决分析
问题分析：由于 mysql 数据库的参数：max_connect_errors，其默认值是 10。问题分析：如果 MySQL 主机查询 DNS 很慢或是有很多客户端主机时会导致连接很慢. 由于开发机器是不能够连接外网的，在进行 MySQL 连接时，DNS 解析是不可能完成的， 从而也就明白了为什么连接那么慢了。解决方法：修改 my.cnf 配置文件，在[mysqld]下添加 innodb_force_recovery=4, 启动数据库后备份数据文件，然后去掉该参数，利用备份文件恢复数据。
2024-04-01 16:02:09
945
原创 mysql优化
目录1.硬件方面（1）关于 CPU（2）关于内存（3）关于磁盘MySQL 配置文件 （1）default-time-zone=+8:00（2）interactive_timeout = 120（3）wait_timeout = 120（4）open_files_limit = 10240（5）group_concat_max_len = 102400（6）user=mysql（7）character-set-server=utf8、init_connect='SET NAMES utf8'（8）back_l
2024-04-01 15:40:39
961
原创 数据库性能相关
mysql> select * from sys.x$host_summary;mysql> select * from sys.x$io_global_by_file_by_bytes;mysql> select * from sys.x$user_summary;mysql> select * from sys.x$memory_global_total;mysql> select host, current_connections, statements from sys.x$host_summary
2024-04-01 14:03:52
796
原创 MySQL MHA高可用配置以及故障切换
MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点的问题。解决主从架构中的主服务器的单点问题MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。
2024-03-31 22:56:23
912
1
原创 mysql主从复制和读写分离
（3）同时Master节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至Slave节点本地的中继日志（Relay log）中，Slave节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，即解析成 sql 语句逐一执行，使得其数据和 Master节点的保持一致，最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制，执行效率高。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。
2024-03-28 18:30:10
828
原创 mysql高阶语句（二）
通常在 FROM 子句中使用关键字 INNER JOIN 来连接多张表，并使用 ON 子句设置连接条件，内连接是系统默认的表连接，所以在 FROM 子句后可以省略 INNER 关键字，只使用 关键字 JOIN。左连接以左侧表为基础表，接收左表的所有行，并用这些行与右侧参 考表中的记录进行匹配，也就是说匹配左表中的所有行以及右表中符合条件的行。MySQL 的连接查询，通常都是将来自两个或多个表的记录行结合起来，基于这些表之间的 共同字段，进行数据的拼接。使用较多的连接查询包括：内连接、左连接和右连接。
2024-03-27 18:50:23
949
原创 mysql进阶查询
使用 SELECT 语句可以将需要的数据从 MySQL 数据库中查询出来，如果对查询的结果进行排序，可以使用 ORDER BY 语句来对语句实现排序，并最终将排序后的结果返回给用户。这个语句的排序不光可以针对某一个字段，也可以针对多个字段。ORDER BY 语句也可以使用多个字段来进行排序，当排序的第一个字段相同的记录有多条的情况下，这些多条的记录再按照第二个字段进行排序，ORDER BY 后面跟多个字段时，字段之间使用英文逗号隔开，优先级是按先后顺序而定。的，是默认的排序方式，即 ASC 可以省略。
2024-03-26 13:45:31
402
原创 mysql增量备份与修复
发生错误节点之前的一个节点，上一次正确操作的位置点停止。2.接收flush logs 命令重新建立新的日志文件。数据库在某一时间点可能既有错误的操作也有正确的操作。1.设置max_binlog_size所设置的大小。在错误时间点停止，在下一个正确时间点开始。跳过某个发生错误的时间点实现数据恢复。mysql的增量备份第一步是完全备份。将所有备份的二进制日志内容全部恢复。可以基于精准的位置跳过错误的操作。
2024-03-26 10:02:02
181
原创 mysql的备份与恢复
只有那些在上次完全备份或者增量备份后被修改的文件才会被备份以上次完整备份或上次增量备份的时间为时间点，仅备份期间内的数据变化，因而备份的数据量小，占用空间小，备份速度快。每次对数据进行完整备份，即对整个数据库、数据库结构和文件结构的备份，保存的是备份完成时刻的数据库，是差异备份与增量备份的基础完全备份的备份与恢复操作都非常简单方便，但是数据存在大量的重复并且会占用大量的磁盘空间，备份的时间也很长。每次增量备份都是备份在上一次完全备份或者增量备份之后的数据，不会出现重复数据的情况，也不会占用额外的磁盘空间。
2024-03-25 19:20:05
648
原创 mysql存储引擎、行锁与索引的关系
MyISAM不支持事务，也不支持外键约束，只支持全文索引，数据文件和索引文件是分开保存的访问速度快，对事务完整性没有要求MyISAM 适合查询、插入为主的应用场景MyISAM在磁盘上存储成三个文件，文件名和表名都相同，但是扩展名分别为：.frm 文件存储表结构的定义数据文件的扩展名为 .MYD (MYData)索引文件的扩展名是 .MYI (MYIndex)
2024-03-24 22:05:05
540
原创 mysql事务
比如说，在人员管理系统中， 要删除一个人员，即需要删除人员的基本资料，又需要删除和该人员相关的信息，如信箱， 文章等等。●事务是一种机制、一个操作序列，包含了一组数据库操作命令，并且把所有的命令作为一个整体一起向系统提交或撤销操作请求，即这一组数据库命令要么都执行，要么都不执行。修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据，或者在另一个使用相同数据的事务结束之后访问这些数据。说白了，所谓事务，它是一个操作序列，这些操作要么都执行，要么都不执行，它是一个不可分割的工作单位。
2024-03-22 08:33:18
361
原创 mysql索引
索引分为：① 普通索引 ：针对所有字段，没有特殊的需求/规则② 唯一索引 : 针对唯一性的字段，仅允许出现一次空值③ 组合索引 (多列/多字段组合形式的索引)④ 全文索引（varchar char text）MySQL为了优化对文本内容搜索的一种机制⑤ 主键索引 ：针对唯一性字段、且不可为空，同时一张表只允许包含一个主键索引创建索引：① 在创建表的时候，直接指定index② alter修改表结构的时候，进行add 添加index③ 直接创建索引index。
2024-03-21 19:11:11
935
原创 mysql数据库管理
1）属于DDL2)不可回滚（无法恢复)3)不可带where4)表内容和结构删除5)删除速度快1)属于DDL2)不可回滚3)不可带where4)表内容删除5)删除速度快1)属于DML2)可回滚(可恢复)3)可带where4)表结构在，表内容要看where执行的情况5)册删除速度慢，需要逐行删除不再需要一张表的时候，用drop想删除部分数据行时候，用delete，并且带上where子句保留表而删除所有数据的时候用truncate#删除速度。
2024-03-21 00:35:13
1030
原创 数据库的基本概念
一款深受欢迎的开源关系型数据库，Oracle旗下的产品，遵守GPL协议，可以免费使用与修改特点性能卓越、服务稳定开源、无版权限制、成本低多线程、多用户基于C/S(客户端/服务器)架构安全可靠navicat 是mysql客户端工具7.2MySQL产品阵营第一阵营:5.0-5.1阵营，可说是早期产品的延续第二阵营:5.4-5.7阵营，整合了MySQL AB公司、社区和第三方公司开发的存储引擎，从而提高性能。
2024-03-19 23:13:07
666
原创 Memcached
NoSQL是对 Not Only SQL、非传统关系型数据库的统称。NoSQL一词诞生于1998年，2009年这个词汇被再次提出指非关系型、分布式、不提供ACID的数据库设计模式。随着互联网时代的到来，数据爆发式增长，数据库技术发展日新月异，要适应新的业务需求。而随着移动互联网、物联网的到来，大数据的技术中NoSQL也同样重要。Memcached 只支持能序列化的数据类型，不支持持久化，基于Key-Value的内存缓存系统。
2024-03-14 16:05:15
883
原创 yum安装mysql 数据库tab自动补全
centos7上面没有mysql，它的数据库名字叫做mariadbmariadb一般不使用第一步先关闭防火墙 核心防护第二步下载yum源，然后安装mysql下载完之后，开启mysql我们看到使用数据库，不能显示当前位置，还没有补全，打错命令还需要重新打，接下来我们就来优化mysql数据库吧随后再次安装路径官网 点击就可进入。
2024-03-13 23:07:21
419
原创 防火墙中的SNAT 与DNAT
总结起来，这条规则的效果是：所有发往公网IP地址12.0.0.254且目标端口为80的TCP数据包，在到达本地主机并准备转发到内部网络之前，其目标IP地址都会被转换成192.168.68.4。随后，在虚拟机上面的外网服务器去curl一下12.0.0.1，curl12.0.0.1出现的是内网服务器的网页内容，表明去连外网网关，就等于访问内网服务器。目的地址转换，根据指定条件修改数据包的目的IP地址，保证了内网服务器的安全，通常被叫做目的映射。
2024-03-13 16:45:18
580
原创 Ansible介绍以及功能
批量执行远程命令,可以对远程的多台主机同时进行命令的执行批量安装和配置软件服务，可以对远程的多台主机进行自动化的方式配置和管理各种服务编排高级的企业级复杂的IT架构任务, Ansible的Playbook和role可以轻松实现大型的IT复杂架构提供自动化运维工具的开发API, 有很多运维工具,如jumpserver（堡垒机）就是基于 ansible 实现自动化管理功能- 模块化：调用特定的模块完成特定任务，支持自定义模块，可使用任何编程语言写模块c账号，软件等）
2024-03-12 23:22:22
773
原创 Haproxy
可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美;最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;支持多达8种负载均衡算法,同时也支持会话保持;支持虚拟机主机功能，从而实现web负载均衡更加灵活;支持连接拒绝、全透明代理等独特的功能;拥有强大的ACL支持,用于访问控制;sendfile其独特的弹性二x树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条日的增加而速度有所下降;
2024-03-10 23:08:31
966
原创 keepalived原理以及lvs、nginx跟keeplived的运用
加入虚拟ip 是因为DR模式，lvs服务器跟真实服务器要用相同的虚拟ip地址，真实服务器回给客户端才不会有冲突，并且要将路由转发给关了，当配置相同的虚拟ip时，客户端访问，lvs服务器跟真是服务器会同时响应，但是客户端应到lvs服务器，所以要将真实服务器的路由转发功能给关闭。解释说明：检查80端口，相当于keepalived 用curl这个命令访问真是服务器的80端口，如果80端口能访问，代表活着，如果80端口检查失败，则下线，不会自动调度过去。然后关闭长连接（是为了更好的出现7-3 到7-4的转换）
2024-03-07 23:53:46
865
原创 selinux规则
进程httpd 必须与ls -Z的文件类型一致，要不然在强制模式下面，打开不了。查找这个命令从哪个安装包来的用 yum provides 命令。centos3 终端还是httpd模式，默认端口号是80。进程要和文件的安全上下文相匹配，进程才能打开文件。随后用别的httpd的终端去访问，就变成错误页面了。在终端2用此命令，把文件类型改为var_t。同时，强制模式也严格控制了端口号。加过9527之后，重启都起不来。加过之后，再重启就好了。
2024-03-06 23:12:12
169
原创 部署LVS集群之DR模式
做一个虚拟ip地址 因为真实服务器跟代理服务器一样 都要配相同的虚拟ip，因为客户端访问的是代理服务器，而最后传的是真是服务器到客户端，真实服务器跟代理服务器ip地址不同，会有冲突，所以都配一样的虚拟ip地址。DR模式原理:客户端通过路由，将响应传给代理服务器，然后代理服务器再重新封装报文，交给真实服务器，真实服务器不经过代理服务器，再重新封装报文，再返还给客户端。客户端 ------->代理服务器------->真实服务器-------->客户端。开启并且建立虚拟网卡（临时）第四步下载ipvsadm。
2024-03-06 19:15:19
640
原创 lvs集群中NAT模式
目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡,如: Web缓存。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和PORT实现转发。把任务分布下去，比如一个程序，分布在不同的电脑上组成，一台服务器不够，多台服务器处理同一任务。RS的网关要指向DIP。
2024-03-05 19:36:15
911
原创 tomcat优化
1.引用计数：如果这个进程没有被使用，则被当成垃圾，缺点：当陷入死循环的时候，垃圾无法归0，没办法清除。因为如果要使用内存的情况下，必须是连续空间，而 标记清除法会产生内存碎片。顾名思义根上面标记清除法差不多，会多一步给这些分片式的内存压缩在一起。将a里面的正常的进程，复制到b，a剩下的就是垃圾，然后一并清除。2.根索法 认为每个进程都有根，如果没有根，这个进程被视为垃圾。垃圾会定时清除，清楚后就如下如所示。随后 进入网页 可以看出内存变大。可以设置jvm内存的大小。
2024-03-04 23:42:16
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人