- 博客(62)
- 收藏
- 关注
RSS订阅原创 Docker资源控制
Docker 通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面， 基本覆盖了常见的资源配额和使用量控制。Cgroup 是 ControlGroups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等) 的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。
2024-07-21 23:08:10
753
原创 Docker基本管理与网络以及数据管理
容器是在linux上本机运行，并与其他容器共享主机的内核，它运行的是一个独立的进程，不占用其他任何可执行文件的内存，非常轻量。虚拟机运行的是一个完整的操作系统，通过虚拟机管理程序对主机资源进行虚拟访问，相比之下需要的资源更多。直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错。
2024-07-17 16:58:04
716
原创 分布式存储Ceph的部署及应用（创建MDS、RBD、RGW 接口）
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
2024-07-17 14:11:34
835
原创 zookeeper机制及消息队列kafka集群部署
kafka：是一个分布式的，支持分区的，多副本基于发布/订阅模式的消息队列(MQ message quene)，主要用于日志和大数据实时处理broker：一台kafka服务器就是一个broker。一个集群由多个broker组成，一个broker可以容纳多个topicProduer：生产者。也就是写入消息的一方，将消息写入broker中Consumer：消费者。也就是读取消息的一方，从broker中读取消息。
2024-07-10 19:28:02
709
原创 故障案例及shell脚本案例
当在数据特别大的时候，如果执行的sql语句没有索引，就会造成扫描表的行数过大导致I/O阻塞，或者是语句中存在死锁，也会造成I/O阻塞，从而导致不可中断睡眠进程过多，导致负载过大。上面说过，cpu的工作效率要高于磁盘，而进程在cpu上面运行需要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其他进程或者空闲，这个任务就会转换为不可中断睡眠状态。当这种读写请求过多就会导致不可中断睡眠状态的进程过多，从而导致负载高，cpu低的情况。D 状态是指不可中断的睡眠状态。
2024-07-10 14:22:34
748
原创 ELK企业级日志分析系统
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。●input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等●filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式grok 对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容date 对数据中的时间格式进行统一和格式化。
2024-07-07 23:56:31
1368
原创 zabbix 自动发现与自动注册、部署 zabbix 代理服务器及部署 Zabbix 高可用集群
zabbix 自动发现（对于 agent2 是被动模式）zabbix server 主动的去发现所有的客户端，然后将客户端的信息登记在服务端上。缺点是如果定义的网段中的主机数量多，zabbix server 登记耗时较久，且压力会较大。启动 zabbix-agent2在 Web 页面删除原有的客户端主机点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除在 Web 页面配置自动发现点击左边菜单栏【配置】中的【自动发现】，点击【创建发现规则】
2024-07-07 22:32:20
603
原创 分布式系统监控zabbix安装部署及自定义监控
案列：自定义监控客户端服务器登录的人数需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中#自定义监控项的格式如下点击左边菜单栏【配置】中的【模板】，点击【创建模板】【模板名称】设置成 Template Login User【可见的名称】设置成 Template Login User【群组】选择 Template【描述】可自定义。
2024-07-07 20:06:38
698
原创 rsync远程同步
可以监控文件系统的变动情况，并做出通知响应调整inotify内核参数（优化）/etc/sysctl.conf(内核参数配置文件)max_queue_events #监控事件队列大小max_user_instances #最多监控实例数max_user_watches #每个实例最多监控文件数notifywait：用于持续监控，实时输出结果inotifywatch：用于短期监控，任务完成后再输出结果。
2024-07-07 17:41:05
832
原创 Web缓存代理与CDN内容分发网络概念
Web 缓存是指一个 Web 资源（如 html 页面，图片，js，数据等）存在于 Web 服务器和客户端（浏览器）之间的副本。缓存会根据进来的请求保存输出内容的副本；当下一个请求来到的时候，如果是相同的 URL，缓存会根据缓存机制决定是直接使用副本响应访问请求，还是向源服务器再次发送请求。比较常见的就是浏览器会缓存访问过网站的网页，当再次访问这个 URL 地址的时候，如果网页没有更新，就不会再次下载网页，而是直接使用本地缓存的网页。只有当网站明确标识资源已经更新，浏览器才会再次下载网页。
2024-07-07 16:47:55
497
原创 Squid代理服务器应用
http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。
2024-07-06 18:25:11
977
原创 Redis三种模式——主从复制、哨兵模式、集群
主从复制，是指将一台 Redis 服务器的数据，复制到其他的 Redis 服务器。前者称为主节点(Master)，后者称为从节点(Slave)；数据的复制是单向的，只能由主节点到从节点。默认情况下，每台 Redis 服务器都是主节点；且一个主节点可以有多个从节点 (或没有从节点)，但一个从节点只能有一个主节点。
2024-07-05 11:45:00
1205
2
原创 NoSQL之Redis高可用与优化
在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和 Cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。
2024-07-01 17:04:40
1010
原创 NoSQL之Redis配置与数据库常用命令
Redis是一个开源的、使用C语言编写的NoSQL数据库。Redis基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；
2024-07-01 15:56:49
802
原创 MySQL主从复制
在异步复制的机制的情况下，如果Master宕机，事务在Master上已提交，但很可能这些事务没有传到任何的Slave上。半同步的问题是因为等待ACK的点是Commit之后，此时Master已经完成数据变更，用户已经可以看到最新数据，当Binlog还未同步到Slave时，发生主从切换，那么此时从库是没有这个最新数据的，用户看到的是老数据。增强半同步是在MySQL 5.7引入，其实半同步可以看成是一个过渡功能，因为默认的配置就是增强半同步，所以，大家一般说的半同步复制其实就是增强的半同步复制，也就是无损复制。
2024-06-28 16:47:53
868
原创 MySQL高级SQL语句
返回包括左表中的所有记录和右表中联结字段相等的记录。返回包括右表中的所有记录和左表中联结字段相等的记录。只返回两个表中联结字段相等的行。
2024-06-21 00:16:33
507
原创 MySQL备份与恢复
Mysql的日志默认保存位置为/usr/local/mysql/date，Mysql的日志配置文件为/etc/my.cnf，里面有一个【mysqld】项。
2024-06-19 23:18:24
589
原创 MySQL事务与存储引擎
如果没有开启自动提交，当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务才算结束。当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。如果开起了自动提交，mysql会把每个sql语句当成一个事务，然后自动的commit。当然无论开启与否，begin;都是独立的事务。在事务管理中，原子性是基础，隔离性是手段，一致性是目的，持久性是结果begin;都是独立的事务。
2024-06-19 15:30:20
1078
原创 MySQL索引
普通索引 ：针对所有字段，没有特殊的需求/规则唯一索引 : 针对唯一性的字段，仅允许出现一次空值组合索引 (多列/多字段组合形式的索引)全文索引（varchar char text）主键索引 ：针对唯一性字段、且不可为空，同时一张表只允许包含一个主键索引。
2024-06-19 15:00:39
677
原创 MySQL数据库用户管理与用户授权
当不在需要一张表时，用drop；想删除部分数据行时，用delete，并带上where；删除数据保留表时用truncate因克隆表时无法克隆索引等信息，所以克隆表只能用于临时备份数据，在实际生产中也仅用于备份数据，防止误删除数据，造成不必要的损失在遗忘MySQL的root密码时，更改配置文件并更改密码后，记得要将配置文件还原，否则其它用户可以直接免密登录。
2024-06-19 10:50:59
917
原创 HAProxy搭建web集群
默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。global需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。&~&~
2024-06-18 00:02:38
753
原创 LVS+Keepalived群集++
Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
2024-06-17 23:40:14
635
原创 LVS负载均衡群集部署—DR直接路由
因为“负载调度机”转发时并不会改写数据包的目的IP，所以“节点服务器”收到的数据包的目的IP仍是“负载调度器”的虚拟服务IP。为了保证“节点服务器”能够正确处理该数据包，而不是丢弃，必须在“节点服务器”的环回网卡上绑定“负载调度器”的虚拟服务IP。这样“节点服务器”会认为这个虚拟服务IP是自己的IP，自己是能够处理这个数据包的。否则“节点服务器”会直接丢弃该数据包！“节点服务器”上的业务进程必须监听在环回网卡的虚拟服务IP上，且端口必须和“负载调度机”上的虚拟服务端口一致。
2024-06-17 11:28:50
949
原创 Firewalld防火墙基础
trusted信任区域接受所有传入的网络连接public初始的默认区域允许与ssh或dhcpv6-client预定义服务匹配的传入流量，其余均拒绝external外部区域允许与 ssh 预定义服务匹配的传入流量，其余均拒绝home家庭区域允许与ssh、mdns、samba-client或dhcpv6-client预定义服务匹配的传入流量，其余均拒绝internal内部区域默认值时与home区域相同work工作区域。
2024-06-16 22:22:24
918
原创 LVS负载均衡群集部署—NAT
Cluster，集群、群集，为解决某个特定的问题将多台计算机组合起来形成的单个系统由多台主机构成的一个整体，提供一个访问入口（IP或域名），集群中的多台主机都干一件事提供一样的服务。
2024-06-14 14:57:22
629
原创 Nginx反向代理与负载均衡
代理是在服务器和客户端之间假设的一层服务器，代理将接收客户端的请求并将它转发给服务器，然后将服务端的响应转发给客户端。不管是正向代理还是反向代理，实现的都是上面的功能。
2024-06-11 17:29:12
608
原创 Tomcat部署及优化
Tomcat 是 Java 语言开发的，Tomcat 服务器是一个免费的开放源代码的 Web 应用服务器。Tomcat 属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试 JSP 程序的首选。
2024-06-11 06:16:34
1036
原创 Nginx Rewrite重写功能
比如：更换域名后需要保持旧的域名能跳转到新的域名上、某网页发生改变需要跳转到新的页面、网站防盗链等等需求。例如：http://www.test.com/abc/bbs/index.php?a=1&b=2 只对/abc/bbs/index.php重写location是为了匹配访问路径（URL）if作为判断分支，并且if分支，仅支持单分支rewrite：对访问路径进行改写1、改写路径：nginx服务器上的配置-改写路径2、改写路径：在后端、其他服务器上-跳转。
2024-06-05 00:42:09
545
原创 Nginx优化与防盗链
可以使用Fiddler工具抓取数据包，查看Hginx版本，也可以在Centos中使用命令curl -I http://192.168.154.10 显示报文首部信息。
2024-06-02 21:40:43
857
原创 LNMP架构部署
Nginx的PHP解析功能实现如果是交由FPM处理的，为了提高PHP的处理速度，可对FPM模块进行参数的调整，根据服务器的内存与服务负载，调整FPM模块参数。
2024-05-31 01:40:06
867
原创 Nginx网站服务
Nginx（特点：占用内存少，并发能力强）Nginx是一个高性能的 HTTP 和反向代理服务器。Nginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件单台物理服务器可支持30 000～50 000个并发请求。Tengine 是由淘宝网发起的 Web 服务器项目。它在 Nginx 的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine 的性能和稳定性已经在大型的网站如淘宝网、天猫商城等得到了很好的检验。
2024-05-29 14:55:03
532
原创 Web基础与HTTP协议
1、网络上交互是基于TCP/IP协议的，每个主机在逻辑上都有一个唯一的IP地址，物理地址为MAC地址。2、为了保证地址的唯一性，用户协议向特定的机构申请注册，分配IP地址网络中的地址有两套方案：1、IP地址系统 2、域名地址系统。3、由于IP是由32位二进制数字标识的，不方便记忆，所以以IP地址为基础发展了符号化的地址来代替解决，也就是域名。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。
2024-05-28 10:50:05
932
原创 企业网站架构LAMP部署与优化(apache、mysql、php)
LAMP架构是目前成熟的企业网站应用模式之一，指的是协同工作的一整套系统和相关软件，能够提供动态Web站点服务及其应用开发环境。LAMP是一个缩写词，具体包括Linux操作系统、Apache网站服务器、MySQL数据库服务器、PHP（或Perl、Python）网页编程语言。
2024-05-27 12:44:46
629
原创 安全技术和iptables防火墙
由软件包iptables提供的命令行工具，工作在用户空间，用来编写规则，写好的规则被送往netfilter，告诉内核如何去处理信息包Linux的防火墙体系主要工作在网络层，针对数据包实施过滤和限制，属于典型的包过滤防火墙（或称为网络层防火墙）。Linux系统的防火墙体系基于内核编码实现，具有非常稳定的性能和高效率，也因此获得广泛的应用。netfilter/iptables：IP信息包过滤系统，它实际上由两个组件 netfilter 和 iptables组成。
2024-05-24 17:06:42
1039
原创 Shell编程之免交互
交互：当计算机播放某多媒体程序的时候，编程人员可以发出指令控制该程序的运行，而不是程序单方面执行下去，程序在接受到编程人员相应的指令后而相应地做出反应。对于Linux操作系统中，有许多操作都会触及到交互（根据系统的指示做出相对应的操作满足操作者的需求），对于shell脚本的自动化运维，就要实现免交互来达到自动化运维的效果。常用的交互程序：read，ftp，passwd，su，sudo，fdisk等等。cat也可配合免交互的方式重定向输出到文件。
2024-05-22 22:30:29
605
原创 Shell三剑客之sed
1.sed命令是一种流编辑器读取文件会进行逐行读取加上指令操作，所以过大的文件一定要拆分后再交给sed处理2.sed -r 搭配扩展正则表达式使用，使用{n} {n,} {n,m} 不需要加“\”3.用 -i 时一定要先备份（尤其对重要文件的操作），或者时先实验好确定无误时，再使用 -i4.sed 命令 的重点在于增删改查四个功能，可以运用在脚本中对重要文件配置的修改，添加等作用尤其有效。
2024-05-20 11:32:55
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人