- 博客(48)
- 收藏
- 关注
RSS订阅原创 ELK企业级日志分析系统
Elasticsearch 是一个基于 Lucene 的搜索服务器。它稳定、可靠、快速，而且具有比较好的水平扩展能力，为分布式环境设计，在云计算中被广泛应用。Elasticsearch 提供了一个分布式多用户能力的全文搜索引擎，基于 RESTfuWeb 接口。通过该接口，用户可以通过浏览器与 Elasticsearch 通信。
2024-07-24 12:32:39
818
原创 Hadoop架构
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，是需要新的处理模式才能具备更强的决策能力、洞察发现能力和流程优化能力的海量、高增长率和多样化的信息资产数据。简而言之，就是数据量非常大，大到无法用常规工具处理，如关系型数据库、数据仓库等。这里的“大”又是一个什么量级呢?如阿里巴巴每天所处理的交易数据达到 20PB(即 20971520GB)。传统数据处理技术为何不能胜任?
2024-07-23 12:00:20
656
原创 FastDFS分布式存储
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
2024-07-22 11:52:29
1146
原创 GFS分布式文件系统
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
2024-07-20 12:34:29
1096
原创 高性能内存对象缓存Memcached
Memcached 是一套开源的高性能分布式内存对象缓存系统，它将所有的数据都存储在内存中，因为内存中会统一维护一张巨大的Hash表，所以支持任意存储类型的数据。很多网站使用emcached提高网站的访问速度，尤其是需要频繁访问数据的大型网站。Memcached 是典型的C/S架构，因此需要构建Memcached服务器端与客户端。Memcached服务器端是用C语言编写的，而客户端可用任何语言来编写（如PHPPythonPerl等），并通过Memcached协议与。
2024-07-18 14:13:51
1101
原创 Spuid代理服务器应用
当客户机通过代理来请求 Web 页面时，指定的代理服务器会先检查自己的缓存。如果缓存中已经有客户机需要的页面，则直接将缓存中的页面内容反馈给客户机。如果缓存中没有客户机要访问的页面，则由代理服务器向 Internet 发送访问请求，获得返回的Web 页面以后，将网页数据保存到缓存中并发送给客户机，如图1.1所示。HTTP 代理的缓存加速对象主要是文字、图像等静态 Web 元素。
2024-07-17 12:26:04
1119
原创 RabbitMQ消息队列
RabbitMq 是一款在全球范围内使用非常广泛的开源消息队列中间件。它轻量级、易部署、并支持多种协议。它基于 Erlang 开发，天生拥有高并发的能力。
2024-07-16 11:53:25
1100
原创 zookeeper+kafka消息队列群集部署
所谓单点故障，就是在一个主从的分布式系统中，主节点负责任务调度分发，从节点负责任务的处理，而当主节点发生故障时，整个应用系统也就瘫痪了，那么这种故障就称为单点故障。那我们的解决方法就是通过对集群master角色的选取，来解决分布式系统单点故障的问题。
2024-07-15 13:41:12
1550
原创 NoSQL之Redis配置与优化
Redis(RemoteDictionaryServer，远程字典型)是一个开源的、使用C语言编写的NoSQL数据库。Redis 基于内存运行并支持持久化，采用 key-value(键值对)的存储形式是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis 进程,而 Redis 的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis 进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降;
2024-07-11 12:07:26
1272
原创 Haproxy搭建Web群集
globaluid 99gid 99daemon#debug#quietdefaultslog globalmode httpretries 3可在每个服务器后加weight设置权重值各个语句的解释global配置日志记录，local0为日志设备，默认是系统日志日志级别为notice最大连接数用户uid用户gid以守护进程的方式运行调试模式，输出启动信息到标准输出安静模式，启动时无输出defaults使用globle中定义的日志模式为http。
2024-07-08 11:54:06
1664
原创 LVS+Keepalived群集
Keepalived 的官方网站位于 http://www.keepalived.org/，本章将以 YUM 方式讲解Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时，Keepalived 也可以作为热备软件使用。
2024-07-05 11:26:29
926
原创 部署LVS-DR群集
LVS-DR(Linux Virtual Server Director Server)工作模式，是生产环境中最常用的一种工作模式。
2024-07-04 11:25:06
1425
1
原创 LVS负载均衡群集
以上三种工作模式中，NAT方式只需要一个公网 IP地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就采用这种方式。相比较而言，DR模式和 TUN 模式的负载能力更加强大，适用范围更广，但节点的安全性要稍差一些。关于群集的负载调度技术，可以基于 IP、端口、内容等进行分发，其中基于 IP的负载调度是效率最高的。SYN_SENT状态表示请求连接，当你要访问其它的计算机的服务时首先要发个同步信号给该端口，此时状态为SYN_SENT，如果连接成功了就变为ESTABLISHED。
2024-07-03 11:30:06
1184
原创 MySQL主从复制与读写分离
在实际的生产环境中，如果对数据库的读和写都在同一个数据库服务器中操作，无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，一般来说都是通过主从复制(Master-Slave)来同步数据，再通过读写分离来提升数据库并发负载能力的方案来进行部署与实施。如图 6.1 所示，一台主 MySQL服务器带两台从 MySQL服务器做数据复制，前端应用在进行数据库写操作时，对主服务器进行操作，在进行数据库读操作时，对两台从服务器进行操作，这样大量减轻了对主服务器的压力。
2024-06-29 11:22:47
1599
原创 MySQL存储引擎
数据库存储引擎是数据库底层软件组件，数据库管理系统使用数据引擎进行创建、查询、更新和删除数据操作。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎还可以获得特定的功能。现在许多数据库管理系统都支持多种不同的存储引擎。MySQL 的核心就是存储引擎。
2024-06-28 11:18:54
1182
原创 MySQL备份与恢复
增量备份（incremental backup）是备份的一个类型，是指在一次完全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件。
2024-06-27 11:57:33
878
原创 MySQL索引、事务
索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址。在数据十分庞大的时候，索引可以大大加快查询的速度。这是因为使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据。
2024-06-26 11:21:17
1121
原创 MySQL数据库初体验
在数据库技术日益发展的今天,主流数据库代表着成熟的数据库技术。了解常用数据库,就能知道数据库技术发展的程度，以及未来的大体方向。SQL Server 是 Microsoft 公司的数据库产品，在设计上大量利用了 Microsoft Windows操作系统的底层结构，直接面向Microsoft Windows，尤其是Windows 系列服务器操作系统的用户。Microsoft Windows 拥有众多的用户群,Microsoft 所有的产品都遵循统一的操作习惯。
2024-06-21 14:54:18
1440
原创 Tomcat部署及优化
Tomcat 功能组件结构Tomcat核心组件有6个，分别为Tomcat有Server、Service、Connector、Engine、Host和Context等。
2024-06-20 12:15:49
1071
原创 Nginx优化与防盗链
备注：valid_referers:nginx会通就过查看referer自动和valid_referers后面的内容进行匹配，如果匹配到了就将$invalid_referer变量置0，如果没有匹配到，则将$invalid_referer变量置为1，匹配的过程中不区分大小写。如果location ~* \.(gif|jpg|jpeg)$中写了png格式，就会被循环重定向，无法看到报错图片。如果看不到压缩，将nginx配置文件中页面缓存的参数去掉，清空一下浏览器，再测试。，则执行后面的操作，即进行重写或返回。
2024-06-18 12:01:48
823
原创 Nginx网站服务
Nginx与 Apahce 一样，可以实现基于用户授权的访问控制，当客户端想要访问相应网站或者目录时，要求用户输入用户名和密码才能正常访问，配置步骤与 Apache 基本一致。概括为以下几个步骤。
2024-06-17 14:34:44
1654
原创 Apache网页优化
一种流行的文件压缩算法，大约可以减少70%以上的文件大小。利用Apache的gzip模块可使用该算法对网页内容进行压缩后再传输给客户端浏览器，从而加快网页加载速度。
2024-06-15 11:40:53
1144
原创 Apache配置与应用
HTTP 是属于应用层的面向对象协议，基于 TCP 协议之上的可靠传输。每次在进行HTTP 连接之前，需要先进行 TCP 连接，在 HTTP 连接结束后要对 TCP 连接进行终止，每个 TCP 连接都需要进行三次握手与四次断开。HTTP 协议不会对之前发生过的请求和响应进行管理，所以频繁地建立与关闭连接对于 HTTP 而言会消耗更多的内存与 CPU 资源。能不能允许通过同一个 TCP 连接发出多个请求，从而减少与多个连接相关的延迟，解决办法就是连接保持。
2024-06-13 12:27:57
953
原创 源码编译安装LAMP
Apache 服务器是针对之前出现的若干个 Web 服务器程序进行整合、完善后形成的软件，其名称来源于“A Patchy Server”，意思是“基于原有 Web 服务程序的代码进行修改(补丁)后形成的服务器程序”1995 年， Apache 服务程序发布了 1.0 版本，之后一直由“Apache Group”负责该项目的管理和维护;直到 1999年，在“Apache Group”的基础上成立了 Apache 软件基金会(Apache Software Foundation，ASF)。
2024-06-12 16:29:32
1328
原创 Web基础与HTTP协议
网页是一个文件，他存放在世界某个角落的某一部计算机中，而这部计算机必须是与互联网相连的。网页经由网址(URL)来识别与存取，是互联网中的一“页”。文本:文本是网页上最重要的信息载体与交流工具，网页中的主要信息一般都以文本形式为主。图像:图像元素在网页中具有提供信息并展示直观形象的作用。静态图像:在页面中可能是图片或矢量图形。图片格式通常为GIF.JPEG 或 PNG 等:矢量格式通常为 SVG 或 Flash。动画图像:通常动画为 GIF 和 SVG。
2024-06-10 15:02:40
1854
原创 iptables 防火墙
在 Internet 中，企业通过架设各种应用系统来为用户提供各种网络服务，如 Web 网站、 电子邮件系统、FTP 服务器、数据库系统等。那么，如何来保护这些服务器，过滤企业不 需要的访问甚至是恶意的入侵呢？本章将开始学习 Linux 系统中的防火墙——netfilter 和 iptables，包括防火墙的结构和 匹配流程，以及如何编写防火墙规则。Linux 的防火墙体系主要工作在网络层，针对 TCP/IP 数据包实施过滤和限制，属于典 型的包过滤防火墙（或称为网络层防火墙）。
2024-06-07 12:10:58
766
原创 DHCP笔记与DNS笔记
再如，我们去一WEB服务器中请求一WEB页面，我们可以在浏览器中输入网址或者是相应的IP地址，例如我们要上新浪网，我们可以在IE的地址栏中输入网址，也可输入IP地址，但是这样子的IP地址我们记不住或说是很难记住，所以有了域名的说法，这样的域名会让我们容易的记住。中选择"新建主机"，在"新建主机"对话框中，"名称"栏中不要输入任何内容，"IP地址"栏中输入泛域名解析指向的IP地址，例如输入"192.168.0.1"，最后单击"添加主机"按钮即可，这样就可以实现对rtj.n et域的泛域名解析。
2024-06-06 10:12:22
690
原创 Shell编程之免交互
expect 是建立在 tcl 语言基础上的一个工具，它可以让一些需要交互的任务自动化地完 成，相当于模拟了用户和命令行的交互操作。expect 是用来进行自动化控制和测试的工具。主要解决 shell 脚本中不可交互的问题。对于大规模的 Linux 运维很有帮助。在 Linux 运维和开发中，经常需要远程登录服务器进行操作，登录的过程是一个交互的 过程，可能会需要输入 yes/no， password 等信息。为了模拟这种输入，可以使用 expect 脚本。
2024-05-31 11:47:46
1184
原创 Shell编程之正则表达式与文本处理器
下面先来了解一下正则表达式的定义及用途。正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹 配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进 行匹配。
2024-05-28 12:33:49
823
原创 shell编程之循环语句与函数
CentOS 系统由 6 版本升级到 7 版本之后，其启动服务的方式发生了很大变化。在生产环境中还有很大一部分的企业在使用 6 系列，为了兼容 6 和 7，要求写一函数自动判断系统 型号，根据型号执行对应的服务管理程序，并且设置开机生效。CentOS 系统文件/etc/centos-release 记录着系统的版本号，通过该文件来判断 CentOS 是属于 6 还是 7 系列。
2024-05-27 12:22:03
1234
原创 Shell编程之条件语句
要使 Shell 脚本程序具备一定的“智能”，面临的第一个问题就是如何区分不同的情况以 确定执行何种操作。例如，当磁盘使用率超过 95%时，发送告警信息；当备份目录不存在 时，能够自动创建；当源码编译程序时，若配置失败则不再继续安装等。Shell 环境根据命令执行后的返回状态值（$?）来判断是否执行成功，当返回值为 0 时 表示成功，否则（非 0 值）表示失败或异常。使用专门的测试工具——test 命令，可以对特 定条件进行测试，并根据返回值来判断条件是否成立（返回值为 0 表示条件成立）。
2024-05-25 12:17:13
1005
原创 FTP文件传输协议
被动模式：客户端使用随即端口向服务器的21号端口建立管理连接，服务器使用建立好的管理通道向客户端发送一个随机的端口号，然后客户端随机的向服务器端发过来的端口经过三次握手后建立好这个数据连接。工作原理 ： 用于互联网上的控制文件的双向传输 是一个应用程序。主动模式：客户端使用随即端口与服务器的21好端口建立控制连接，服务器端主动的使用20好端口向客户端的随机端口建立据连接，经过三次握手完成。使用两个端口：分别时控制端口和数据端口，控制端口使用21，数据端口主动模式先是20.被动模式下是一个随机的端口号。
2024-05-24 11:49:02
744
原创 DNS域名解析服务2
分离解析的域名服务器实际也是主域名服务器，这里主要是指根据不同的客户端提供不同的域名解析记录。比如来自内网和外网的不同网段地址的客户机请求解析同一域名时，为其提供不同的解析结果。
2024-05-22 15:09:29
909
原创 Shell编程规范与变量
自定义变量是由系统用户自己定义的变量，只在用户自己的 Shell 环境中有效，因此又称为本地变量。在编写 Shell 脚本程序时，通常会设置一些特定的自定义变量，以适应程序执行过程中的各种变化，满足不同的需要。Bash 中的变量操作相对比较简单，不像其他高级编程语言（如 C/C++、Java 等）那 么复杂。在定义一个新的变量时，一般不需要提前进行声明，而是直接指定变量名称并赋 给初始值（内容）即可。定义变量的基本格式为“变量名=变量值”，等号两边没有空格。
2024-05-21 09:17:04
1271
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人