- 博客(81)
- 收藏
- 关注
RSS订阅原创 Docker 的数据管理和网络通信
Docker镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被改变。镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。
2024-07-22 21:02:57
753
原创 Docker 网络和Cgroup资源限制
直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错创建自定义网络；可以先自定义网络，再使用指定IP运行docker#docker1 为执行 ifconfig -a 命令时，显示的网卡名，如果不使用 --opt 参数指定此名称，那你在使用 ifconfig -a 命令查看网络信息时，看到的是类似 br-110eb56a0b22 这样的名字，这显然不怎么好记。#mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
2024-07-22 21:00:17
695
原创 ELK 日志分析系统（二）
ELK优化可以围绕着 linux内核优化、JVM优化、ES配置优化、架构优化（filebeat/fluentd代替logstash、加入kafka做消息队列）来实现。ES 作为日志存储时的特性是：高并发写、读少、接受 30 秒内的延时、可容忍部分日志数据丢失。
2024-07-18 16:38:43
771
原创 分布式存储 ceph 之RGW接口
对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。不同于其他数据存储方法，基于对象的存储不使用目录树。虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。
2024-07-18 16:02:02
769
原创 分布式存储之 ceph 管理操作
我们已经完成了 Ceph 集群的部署，但是我们如何向 Ceph 中存储数据呢？首先我们需要在 Ceph中定义一个 Pool 资源池。Pool 是 Ceph 中存储 Object 对象抽象概念。我们可以将其理解为 Ceph存储上划分的逻辑分区，Pool 由多个 PG 组成；而 PG 通过 CRUSH 算法映射到不同的 OSD 上；同时 Pool 可以设置副本 size 大小，默认副本数量为 3。
2024-07-18 15:37:01
860
原创 Redis 数据类型
String是redis最基本的类型，最大能存储512MB的数据，String类型是二进制安全的，即可以存储任何数据、比如数字、图片、序列化对象等；
2024-07-17 11:07:53
625
原创 ceph 部署
【1】DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB 接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储【2】NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络通信，把它转为好像本地文件系统一样来使用，这种存储服务是没办法对它再一次格式化创建文件系统块的【3】SAN（存储区域网络）
2024-07-14 22:03:00
1025
原创 zookeeper集群 + kafka集群
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar 等。中间件 实现应用解耦、异步处理。
2024-07-14 22:02:33
941
原创 zabbix 监控技术（二）
再点击【添加】，【操作类型】选择 与模板关联，【模板】搜索 Linux，选择 Linux by Zabbix agent，搜索Nginx，选择Template Nginx Status点击 【Add】再点击【添加】，【操作类型】选择 添加到主机群组，【主机群组】选择 Linux servers，点击 【Add】点击 【添加】，【类型】选择 主机名称，【操作者】选择 包含，【值】设置成 zbx-agent。点击上方菜单栏【操作】，点击【添加】，【操作类型】选择 添加主机，点击 【Add】
2024-07-08 10:12:22
569
原创 Zabbix 的部署和自定义监控内容
作为一个运维，需要会使用监控系统查看服务器系统性能、应用服务状态和网站指标等，利用监控系统的数据去了解项目上线发布的结果和健康状态；利用一个优秀的监控软件，我们可以通过一个友好的界面进行浏览整个网站所有的服务器状态可以在 Web 前端方便的查看监控数据可以回溯寻找事故发生时系统的问题和报警情况案列：自定义监控客户端服务器登录的人数需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息（1）明确需要执行的 linux 命令。
2024-07-07 21:07:16
930
原创 ELK日志分析系统（一）
最近在分布式系统开发中，由于请求的调用链长，且业务复杂，当系统出现bug或者错误时，在服务器上使用vim编辑器查看日志给我们带来了极大的困扰。为了更好的监控系统的运行、错误排查以及通过日志对数据进行分析等，我们引入了ELK作为我们的日志分析工具。ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。
2024-07-05 14:27:35
861
原创 Rsync 远程同步
rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
2024-07-05 08:42:08
1269
原创 Nginx缓存代理和CDN
CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。简而言之，就是将数据部署在各地的服务器中，通过负载均衡技术，让用户就近获取服务器中的数据。
2024-07-03 23:30:17
520
原创 NoSQL 之 Redis 集群部署
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(Master)，后者称为从节点(Slave)；数据的复制是单向的，只能由主节点到从节点。默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。[Unit][Service]User=redis[Install]主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。
2024-07-03 23:29:44
1262
原创 MySQL高可用之 MMM结构
是一套支持双主故障切换和双主日常管理的脚本程序。MMM 使用 Perl 语言开发，主要用来监控和管理 MySQL Master-Master （双主）复制，，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可。
2024-07-02 08:55:39
992
原创 NoSQL 之 Redis 高可用与持久化（二）
Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式（数据或命令）从内存保存到硬盘；当下次Redis重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置。Redis 提供两种方式进行持久化：原理是将 Reids在内存中的数据库记录定时保存到磁盘上。原理是将 Reids 的操作日志以追加的方式写入文件，类似于MySQL的binlog。
2024-07-02 08:55:00
698
原创 NoSQL 之 Redis 配置与常用命令
Redis（远程字典服务器） 是一个开源的、使用 C 语言编写的 NoSQL 数据库。Redis 基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；
2024-07-01 23:44:02
918
原创 HMA高可用配置及故障切换
MHA(MasterHigh availability)是一套优秀的MySQI高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点的问题。MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。1.采用一主两从架构2.一主两从先做主从复制3.给MHA进行登录授权，访问数据库的授权。
2024-07-01 22:50:36
823
原创 MySQL 主从复制与读写分离
读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2024-06-30 21:35:31
555
原创 MySQL 高级SQL高级语句（二）
存储过程在使用过程中是将常用或者复杂的工作预先使用SQL语句写好并用一个指定的名称存储起来，这个过程经编译和优化后存储在数据库服务器中。当需要使用该存储过程时，只需要调用它即可。存储过程在执行上比传统SQL速度更快、执行效率更高。
2024-06-30 21:34:18
1715
3
原创 MySQL 高级SQL语句
GROUP BY 有一个原则，凡是在 GROUP BY 后面出现的字段，必须在 SELECT 后面出现；凡是在 SELECT 后面出现的、且未在聚合函数中出现的字段，必须出现在 GROUP BY 后面;HAVING 语句的存在弥补了 WHERE 关键字不能与聚合函数联合使用的不足。
2024-06-28 01:19:56
1717
1
原创 MySQL日志管理、备份与恢复
（1）使用mysqldump进行完全备份存在的问题备份数据中有重复数据备份时间与恢复时间过长是自上一次备份后增加/变化的文件或者内容没有重复数据，备份量不大，时间短恢复需要上次完全备份及完全备份之后所有的增量备份才能恢复，而且要对所有增量备份进行逐个反推恢复（3）MySQL没有提供直接的增量备份方法（4）可通过MySQL提供的二进制日志间接实现增量备份（5）MySQL二进制日志对备份的意义二进制日志保存了所有更新或者可能更新数据库的操作。
2024-06-21 01:01:02
1030
原创 Haproxy 搭建Web群集
HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。
2024-06-21 01:00:29
652
原创 MySQL 索引、事务与存储引擎
存储引擎是MySQL数据库的组件，负责执行实际的数据IO操作（数据的存储和提取）。工作在文件系统之上，数据库的数据会先传输到存储引擎，再按照存储引擎的存储格式保存到文件系统。（1）MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引擎（2）存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式（3）MySQL常用的存储引擎MyISAMInnoDB。
2024-06-19 00:25:13
598
原创 LVS负载均衡群集+NAT部署
Cluster，集群（也称群集）由多台主机构成，都做相同的一件事，但对外只表现为一一个整体，只提供一个访问入口(域名或IP地址)， 相当于一台大型计算机（1）纵向扩展 ：对服务器的CPU 内存 硬盘 等硬件进行升级或者扩容来实现的，性能上限会有瓶颈，成本昂贵，收效比不高等问题（2）横向扩展 ：通过增加服务器主机数量来实现。
2024-06-17 00:14:46
919
原创 Nginx + Tomcat 负载均衡、动静分离
最初是由Sun的软件构架师詹姆斯·邓肯·戴维森开发安装Tomcat后，安装路径下面的目录和文件，是使用或者配置Tomcat的重要文件。
2024-06-16 22:20:44
1263
原创 MySQL数据库初体验+ MySQL数据库管理（一）
（1）SQL Server （微软公司产品）面向Windows操作系统；简单、易用（2）Oracle （甲骨文公司产品）面向所有主流平台；安全、完善、操作复杂（3）DB2（IBM公司产品）面向所有主流平台；大型、安全、完善（3）MySQL（甲骨文公司收购）免费、开源、体积小（1）介绍一款深受欢迎的开源关系型数据库Oracle 旗下的产品遵守GPL协议，可以免费使用与修改性能卓越，服务稳定开源、无版权限制、成本低多线程、多用户基于C/S（客户端/服务端）结构安全可靠。
2024-06-15 00:03:02
883
原创 LVS + Keepalived 群集
企业应用中，单台服务器承担应用存在单点故障的危险单点故障一旦发生，企业服务将发生中断马，造成极大的危害（1）专为LVS 和 HA 设计的一款健康检查工具支持故障自动切换（Failover）支持节点健康状态检查（Health Checjing）判断 LVS 负载调度器、节点服务器的可用性，当 master 主机出现故障及时切换到backup 节点保证业务正常，当 master故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。（2）官方网站：负载均衡架构图。
2024-06-13 00:15:51
822
原创 部署LVS-DR群集
调度器，lvs的前端设备（调度器）真正提供服务的后端服务器（节点服务器）后端服务器的ip地址DIP调度器和后端服务器通信的ip源IP （客户端的IP）目的IP （设置的统一入口），对外公布的ip，客户请求进来的ip源MAC地址DS调度器的MAC地址目的MAC地址RS真正服务器的MAC地址（1）部署NFS共享存储（2）部署Web服务器，注意：配置lo:0虚接口承载VIP；修改内核参数 arp_ignore=1、arp_announce=2防止网关ARP紊乱问题；
2024-06-12 08:51:24
588
原创 Tomcat部署及优化
supervisor是Python开发的c/s服务，是Linux系统下的进程管理工具。可以监听、启动、停止、重启一个或多个进程用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做到进程的自动恢复的功能，不在需要自己写脚本来控制Tomcat默认安装下的缺省配置并不适合生产环境，它可能会频繁出现假死现象需要重启，只有通过不断压测优化才能让它最高效率稳定的运行。
2024-06-11 08:39:36
934
原创 Nginx Location匹配 和 Rewrite重写
就是，使用nginx提供的全局变量或自己设置的变量，结合正则表达式和标记位实现URL重写以及重定向。比如：更换域名后需要保持旧的域名能跳转到新的域名上、某网页发生改变需要跳转到新的页面、网站防盗链等等需求rewrite 对用户的URL访问路径进行重写，在重定向跳转访问重写后的路径rewrite只能放在server{},location{},if{}中，并且默认只能对域名后边的除去传递的参数外的字符串起作用，例如 http://www.xy101.com/abc/bbs/index.php?
2024-06-11 08:39:12
728
原创 Nginx 优化与防盗链
nginx应用配置文件的优化：nginx的性能优化开启网页压缩 gzip on;页面缓存 expires 缓存时间;连接保持超时 keepalive_timeout 服务端超时时间 客户端超时时间;设置工作进程数 work_processes 与服务器CPU数量相同或auto设置工作进程连接数 worker_connections worker_rlimit_nofile工作进程静态绑核 worker_cpu_affinity开启高效文件传输模式 sendfile on;
2024-06-10 16:02:56
825
原创 源码编译安装LNMP
Nginx会通过fastcgi接口转发给php-fpm进程接受，然后再由php解析器处理解释动态页面后响应返回给Nginx，Nginx再返回给客户端。如果动态页面涉及到数据库的读写，php会通过程序代码访问，mysql的api接口，并使用sql语句进行数据库的速写操作。由客户端发送页面请求给Nginx，Nginx会根据location匹配用户访问请求的URL路径判断是静态还是动态，静态的一般是以 .html .htm .css .shtml结尾，动态的一般是以 .php .jsp .py结尾。
2024-06-10 13:43:54
694
原创 源码编译安装LAMP
在构建LAMP平台时，各组件的安装顺序依次为Linux、Apache、MySQL、PHP。其中Apache和MySQL的安装并没有严格的顺序。
2024-05-26 23:15:24
1081
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人