TA548464-CSDN博客

原创 Logstash 详细介绍、安装与使用

Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目标中。为了多样化的高级下游分析和可视化用例，清理和使所有数据平等化。虽然 Logstash 最初在日志收集方面推动了创新，但它的能力远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤和输出插件进行增强和转换，许多本地编解码器进一步简化了摄入过程。Logstash 通过利用更多的数据量和种类加速您的洞察力。Logstash 到 Elastic Cloud 无服务器。

2024-03-14 16:11:53 1467

原创 Filebeat（Beats）详细介绍与使用

Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引Filebeat隶属于Beats。Filebeat 作为代理安装在的服务器上，可监控日志指定的文件或位置，收集日志事件并转发它们使用或Logstash进行索引。

2024-03-13 17:29:04 1129

原创 Nginx 性能优化

CPU 的亲和能够使 Nginx 对于不同的 work 工作进程绑定到不同的 CPU 上面去。将 work 的进程绑定到不同的 CPU 核数上，尽可能的减少进程间的切换，指的是 CPU 从一个进程切换到另一个进程，绑定后可以提升处理请求速度和性能。1、物理 CPU 数：主板上实际插入的 CPU 数量，可以数不重复的 physical id 有几个（physical id）2、 CPU 核数：单块 CPU 上面能处理数据的芯片组的数量，如双核、四核等（ CPU cores）是在进程上面进行限制。

2024-02-20 15:55:26 1225

原创 HTTPS原理及配置

HTTP 协议（HyperText Transfer Protocol，超文本传输协议）：是客户端浏览器与Web服务器之间的应用层通信协议。HTTPS 协议（HyperText Transfer Protocol over Secure Socket Layer）：可以理解为HTTP+SSL/TLS，即 HTTP 下加入 SSL 层，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL，用于安全的 HTTP 数据传输。如上图所示 HTTPS 相比 HTTP 多了一层 SSL/TLS。

2024-02-20 14:53:05 1189

原创 Nginx 监控原理以及实验

注意：这两个是必须要加上zabbix监控，加触发器有问题及时告警。nginx 提供了，这个模块提供了基本的监控功能。

2024-01-25 15:55:39 1271 2

原创 Nginx （自定义/预定义）变量，alias 虚拟目录

所有的 Nginx变量在 Nginx 配置文件中引用时都须带上前缀在 Nginx 配置中，变量只能存放一种类型的值，而且也只存在一种类型，那就是字符串类型所有的变量值都可以通过这种方式引用$变量名nginx中的变量分为两种，自定义变量与内置预定义变量1、声明变量可以在sever,http,location等标签中使用set命令声明变量，语法如下set $变量名变量值nginx 中的变量必须都以开头。

2024-01-25 15:18:12 1673 1

原创 Nginx 访问控制（原理+实验）

什么是访问控制？访问控制是一种安全机制，旨在限制系统或网络资源的访问权限，确保只有经过授权的用户或系统可以访问这些资源。

2024-01-24 10:52:28 1063

原创 Nginx 流量控制/限流（原理介绍以及两个实验）

Nginx 限流是一种用于控制并发连接数或请求速率的机制，旨在保护服务器免受过多的请求影响，防止因请求过载而导致系统性能下降或崩溃。限流是一种流量控制手段，用于限制单位时间内可以通过系统的请求数或连接数。这有助于防止系统超负荷运行，保持系统的稳定性和可用性。在高并发的网络环境中，突然涌入的大量请求可能会超出服务器的处理能力，导致性能下降甚至崩溃。通过限流，可以平滑处理请求，防止服务器不堪重负。在 Nginx 中，限流通常通过 ngx_http_limit_req_module 模块来实现。

2024-01-24 10:17:27 1338

原创 Nginx 平滑升级原理分析和实验

TERM, INT：立刻退出QUIT：等待工作进程结束后再退出KILL：强制终止进程HUP：重新加载配置文件，使用新的配置启动工作进程，并逐步关闭旧进程。USR1：重新打开日志文件USR2：启动新的主进程master，实现热升级WINCH：逐步关闭worker工作进程实现的步骤：1、首先使用nginx -V查看nginx现有的编译参数2、然后下载好要更新的源码包，上传到服务器中，然后使用make命令编译，编译时用--with添加要使用的模快，--without。

2024-01-23 10:53:20 1382

原创 Nginx 日志配置详细介绍

nginx 有一个非常灵活的日志记录模式，每个级别的配置可以有各自独立的访问日志，所需日志模块的支持，日志格式通过log_format命令来定义，日志对于统计和排错是非常有利的，下面总结了 nginx 日志相关的配置包括access_loglog_formaterror_log。设置访问日志;关闭访问日志;path 指定日志的存放位置。作用域：可以应用access_log指令的作用域分别有http，server，location。

2024-01-23 10:16:36 2155

原创 Nginx rewrite地址重写（十个例子详细解析）

Rewrite在nginx中也叫URL Rewrite，即URL重写，就是把传入Web的请求重定向到其他URL的过程使用Rewrite可以隐藏服务器上的真实文件路径和目录结构，防止攻击者通过直接访问文件路径来获取敏感信息。这增加了安全性，使攻击者更难确定服务器上的实际文件组织方式。强制规范化URL格式可以避免一些常见的安全问题，如路径遍历攻击（Directory Traversal）或路径参数欺骗。通过使用Rewrite，可以确保URL格式的一致性，减少潜在的安全漏洞。

2024-01-22 14:53:51 2959

原创 Nginx localtion规则匹配详细介绍并举例

location 是在 server 块中配置，根据不同的 URI 使用不同的配置，来处理不同的请求。location 是有顺序的，会根据不同请求配置的优先级来匹配的location 处理。基本语法如下：匹配URL类型，有6种参数可选，当然也可以不带参数。命名location，用@标识，类似于定于goto语句块。location = / { # 只匹配 / 的查询location / { # 匹配任何以 / 开始的查询，但是正则表达式与一些较长的字符串将被首先匹配。

2024-01-22 14:25:03 1106

原创 Nginx动静分离

为了加快网站的解析速度，就是把动态页面和静态页面由不同的服务器来解析，加快解析速度。降低原来单个服务器的压力。简单来说，就是。

2024-01-21 19:21:03 1113

原创 Nginx会话保持

2、按下F12，打开浏览器的控制台工具，找到请求头下面的Cookie（例如：Cookie：route=19c3afb04a79d36869450dfe7dca8512），并将Cookie复制粘贴到记事本中。3、停掉当前访问的服务器，crtl + F5强制刷新，再次查看浏览器中请求头的Cookie，观察是否跟前一次的Cookie一样（如果第一次访问的是136的页面，则停掉136，反之，停掉138）1、访问www.test.com，会随机访问到一个页面，可能是136，也可能是138。：定义cookie的域。

2024-01-21 19:05:16 1379

原创 Nginx负载均衡

Nginx 根据配置的策略，自动选择后端服务器，并将客户端请求转发到所选的服务器上。总结：加了ip_hash算法的时候，同一个客户端的访问IP会被转发到同一个后端服务器中，没有加ip_hash的时候会按照upstream中的权重来访问。热备：如果你有2台服务器，当一台服务器发生事故时，才启用第二台服务器给提供服务，A服务器正常的情况，B服务器是不会工作的，就是用来当备胎的。声明：在浏览器中访问，ip_hash注释的情况下，权重的访问并不明显，这是因为浏览器中有缓存的原因；：允许请求失败的次数，默认为1。

2024-01-19 15:45:52 1117 1

原创 Nginx Proxy反向代理

X-Forwarded-For 请求头是一种常用的标准请求头，用于记录请求经过的代理服务器的 IP 地址。$proxy_add_x_forwarded_for 是 Nginx 内置变量，它用于获取请求头中已经存在的 X-Forwarded-For 的值，并将客户端的真实 IP 地址追加到该值的末尾，以形成一个包含所有代理服务器 IP 地址的列表。#这样做的好处是，上游服务器可以通过读取 X-Forwarded-For 请求头，获取到请求经过的所有代理服务器的 IP 地址列表，从而了解请求的真实来源路径。

2024-01-19 14:56:33 1474

原创 Nginx三种虚拟主机配置

nginx可以实现虚拟主机的配置，nginx支持三种类型的虚拟主机配置。

2024-01-18 11:32:49 1105 1

原创 Nginx安装和配置（yum安装和编译安装）

1、nginx.conf的组成：nginx.conf一共由三部分组成，分别为：全局块、events块、http块。1.Nginx的master进程检查配置文件的正确性，若是错误则返回错误信息，nginx继续采用原配置文件进行工作（因为worker未受到影响）配置Yum源的官网：http://nginx.org/en/linux_packages.html。2.如果配置文件没问题，则Nginx会启动新的worker进程，并且采用新的配置文件。nginx的官方网站：http://www.nginx.org。

2024-01-18 10:22:17 1473

原创 Nginx详细介绍（并从技术层面深度剖析）

Nginx (engine x) 是一个轻量级，高性能的 HTTP 和反向代理服务，也是一个IMAP/POP3/SMTP服务。因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。一个请求到来了，nginx使用epoll接收请求的过程是怎样的?select，poll，epoll 都是I/O多路复用的具体的实现，其实是他们出现是有先后顺序的。

2024-01-17 17:27:12 1319

原创 HTTP超详细介绍

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写，是一种详细规定了【浏览器】和万维网(WWW：World Wide Web)【服务器】之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。说白了就是：HTTP协议就是浏览器和服务器之间进行“沟通”的一种【规范/约束】。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件，图片文件，查询结果等）。

2024-01-17 16:15:49 1804

原创 Shell编程--expect

实现批量修改密码，批量推送ssh的公钥，进行远程ssh连接，任何批量操作的基本都能处理。通过expect可以实现将交互式的命令变为非交互式执行，不需要人为干预（手动输入）是一个免费的编程工具，用来实现自动的交互式任务，而无需人为干预在实际工作中我们运行命令、脚本或程序时，都需要从终端输入某些继续运行的指令，而这些输入都需要人为的手工进行，而利用 expect 则可以根据程序的提示，模拟标准输入提供给程序，从而实现自动化交互执行，这就是 expect。

2024-01-16 11:09:32 376

原创 Shell编程--wc、cut、sort、uniq

利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。sort 命令将以默认的方式将文本文件的第一列以 ASCII 码的次序排列，并将结果输出到标准输出。其中，3 个数字分别表示testfile文件的行数、单词数，以及该文件的字节数。检查文件并删除文件中重复出现的行，并在行首显示该行重复出现的次数。在默认的情况下，wc将计算指定文件的行数、字数，以及字节数。wc命令用于计算字数。

2024-01-16 10:42:26 933

原创 Shell编程--awk

awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。可以在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。

2024-01-15 11:12:11 928

原创 Shell编程--sed

sed：stream editor(流编辑器)的缩写是一种在线非交互式编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等非交互式编辑器，一次处理一行内容。

2024-01-15 10:01:58 1028

原创 Shell编程--grep、egrep

1. grep正则过滤—基本正则匹配1.1 * 0或多个1.2 \ < 词首定位符号 \ >词尾定位符号参数解释：：用bar替换每一行的foo 表示所有行用来替换文本指定被替换的模式指定替换成的文本匹配模式出现多次时也替换1.4 $ 以什么结尾1.5 . 匹配单个字符1.6 .* 任意多个字符1.7 [ ] 匹配方括号中的任意一个字符1.8 [ - ] 匹配指定范围内的一个字符1.9 [^ ] 匹配不在指定组内的字符2. grep扩展正则匹配—egre

2024-01-12 15:02:59 953

原创 Shell编程--正则表达式（基本/拓展元字符、正则判断）

（示例在grep正则过滤）

2024-01-12 14:20:15 549

原创 Shell编程--数组

数组也是一种变量，常规变量只能保存一个值，数组可以保存多个值关联数组跟普通数组的区别：普通数组：通过索引来确定值；关联数组：标签和值互相关联，通过调用标签来获取标签对应的值。

2024-01-12 12:00:17 412

原创 Shell编程--函数function

函数名 function_name，这就是你将使用它从其他地方在你的脚本调用。function (功能) 功能函数计算机函数：就是固定的模块、固定的功能做固定的操作，相当于linux中的固定的功能，当需要使用的时候，就去调用函数作用：完成特定功能的代码片段（函数必须先定义才能使用）优点：避免重复的代码命名空间：在shell语言中命名空间函数内和函数外(不包括脚本)是一样的，函数内外不能赋值同样名字的变量变量：如果在同一个命名空间（同一个脚本内）可以用，如果不再同一个命名空间就不能用。

2024-01-11 16:08:55 566

原创 Shell编程--循环结构（for、while、until、shift、continue、break、exit）

若用户要求 Shell 在不知道位置变量个数的情况下，还能逐个的把参数一一处理，也就是在 $1 后为 $2，在 $2 后面为 $3 等,则需要用shift把所有参数变成$1。背景：写一个脚本，满足以下需求及应用，如一个文件的内容如下，根据文件内容实现批量创建用户，第一列为用户名，第二列为密码。continue：王炸，要不起，过，但是牌局还没结束，还在继续（跳过本次循环，进入下一轮循环）–while循环当条件为真的时候循环同时会一直循环，也就所说的死循环，为假时不循环。的时候的才循环，为真的时候就停止了；

2024-01-11 15:17:02 1143

原创 Shell编程--流程控制

第一行：声明case关键字调用case语法，紧跟的“变量”一般为用户的输入值, in代表从下方的各个模式进行匹配。[ ] 使用 -a、-o 分别表示与、或关系，[[ ]]使用 &&、 ||表示与、或关系。而且在使用中，[[ ]]比[ ]更加的稳定，在脚本的使用中，建议使用[[ ]][ ] 语法都可以由 [[ ]] 替代，并且后者功能更丰富。，前面执行失败，后面执行，前面命令执行成功，后面不执行。[[ ]]支持正则表达式，而[ ]不支持。STRING2 （不等于）STRING2 （等于）

2023-11-11 15:05:29 652

原创 Shell编程入门--变量

预定义变量：预定义的特殊变量有着特殊的含义，用户不可以更改，所有的预定义变量都由$符号和另外一个符号组成，常用的预定义特殊变量如下：$$ 当前进程PID命令执行后的返回状态为 0 则执行正确，非 0 为执行错误$# 位置参数的数量$* 所有位置参数的内容$@ 显示所有的参数上一个后台进程的PID (wait命令中使用,后面讲)//ping百度和京东脚本/bin/bash。

2023-11-11 14:44:31 205

原创 Shell编程入门--概念、特性、bash配置文件

程序语言编程语言：自然语言（汉语英语）、计算机语言（c语言、c++、java、php、python、go、shell）编译型语言：c、c++、java解释型语言：php、python、bash(shell)编译型语言：编译型语言的首先将源代码编译生成机器语言，再由机器运行机器码（二进制）。像C/C++等都是编译型语言。解释型语言：源代码不是直接翻译成机器语言，而是先翻译成中间代码，再由解释器对中间代码进行解释运行。比如Python/JavaScript/Shell等都是解释型语言。

2023-11-11 14:24:42 617

原创 MySQL其他集群类型介绍

Lvs服务器提供了负载均衡的作用，将用户请求分发到Real Server，一台 Real Server故障并不会影响整个集群的。Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件，适用于负载大的Web站点；DRBD（Distributed Replicated Block Device）：是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。SAN的概念是允许存储设施和解决器（服务器）之间建立直接的高速连接，通过这种连接实现数据的集中式存储。

2023-11-10 18:57:38 479

原创 MySQL优化方案

因此，我们需要在设计数据表时，考虑到实际应用场景，采用合适的数据类型和约束条件、适当的前缀长度以及多表、多列索引等方式，提高查询效率和响应速度。一般情况下，我们会选择MySQL默认的存储引擎存储引擎InnoDB，但是当对数据库性能要求精益求精的时候，存储引擎的选择也成为一个关键的影响因素。数据的完整性校验的工作应该由开发者完成，而不是依赖于外键，一旦用了外键，你会发现测试的时候随便删点垃圾数据都变得异常艰难。不同的存储类型的最大存储范围不同，占用的存储的空间自然也不同。查看MySQL服务器的运行状态，有。

2023-11-10 14:41:29 181

空空如也

空空如也