- 博客(181)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 07-Nginx 日志管理及自动切割
对于程序员、运维来说，日志非常得重要。通过日志可以查看到很多请求访问信息，及异常信息。Nginx 也提供了对日志的强大支持。
2022-11-21 23:54:32
4980
1
原创 06-Nginx配置详解
用于指定Nginx 缓存的存放路径及相关配置。指定用于存放缓存 key 内存区域名称。其值为 http{}模块中 proxy_cache_path 中的keys_zone 的值。由于Nginx 配置文件是 perl 脚本，所以其是可以使用如下方式自定义变量的。
2022-11-17 08:34:29
586
原创 05-Nginx性能调优
一般情况下并发处理机制有三种：多进程、多线程，与异步机制。Nginx 对于并发的处理同时采用了三种机制。当然，其异步机制使用的是异步非阻塞方式。我们知道Nginx 的进程分为两类：master 进程与 worker 进程。每个 master 进程可以生成多个 worker 进程，所以其是多进程的。每个 worker 进程可以同时处理多个用户请求，每个用户请求会由一个线程来处理，所以其是多线程的。那么，如何解释其“异步非阻塞”并发处理机制呢？
2022-11-09 08:35:45
6215
原创 04-Nginx与多路复用select|poll|epoll
若要理解 select、poll 与epoll 多路复用器的工作原理，就需要首先了解什么是多路复用器。而要了解什么是多路复用器，就需要先了解什么是“多进程/多线程连接处理模型”。
2022-11-09 08:30:06
508
原创 03-Nginx性能调优与零拷贝
该拷贝方式共进行了 4 次用户空间与内核空间的上下文切换，以及 4 次数据拷贝，其中两次拷贝存在 CPU 参与。我们发现一个很明显的问题：应用程序的作用仅仅就是一个数据传输的中介，最后将kernel buffer 中的数据传递到了 socket buffer。显然这是没有必要的。所以就引入了零拷贝。该拷贝方式共进行了 2 次用户空间与内核空间的上下文切换，以及 3 次数据拷贝，但整个拷贝过程均没有 CPU 的参与，这就是零拷贝。
2022-11-04 22:16:44
967
原创 02-Nginx安装与常用命令
对于C/C++语言的编译器，使用最多的是 gcc 与 gcc-c++，而这两款编译器在 CentOS7 中是没有安装的，所以首先要安装这两款编译器。由于Nginx 服务器默认的端口号为 80，所以在浏览器中直接输入 Nginx 的主机名或 IP， 就可以看到 Nginx 欢迎页面。在 Nginx 的安装目录/usr/local/nginx 中有一个 sbin 目录，其中存放着 nginx 的命令程序。进入到/usr/apps 目录中的Nginx 解压包目录，查看Nginx 的目录。
2022-11-02 23:25:10
2495
原创 01-Nginx简介与作用
在硬件条件允许的前提下，Nginx 可以支持高达 5-10 万的并发量（除了 Nginx 的设置外，Linux 主机需要做大量的设置来配合Nginx）。若需要哪些功能，只需要安装相应功能的扩展模块即可。可以在 7*24 小时不间断服务的前提下，进行 Nginx 版本的平滑升级，Nginx 配置文件的平滑修改。Nginx (engine x) 是一个轻量级的、高性能的、基于 Http 的、反向代理服务器，静态 web。国内大型的站点，例如百度、京东、新浪、网易、腾讯、淘宝等，都使用了 Nginx。
2022-10-31 00:04:04
433
原创 03-ELK指南-Kibana安装
另外我不打算靠运营方式拿到博客专家的认证，纯纯的科技与狠活来征服读者，就看读者的感恩之心了，祝你好运连连。应用程序中，你可以使用各种图表、表格和地图等来塑造数据，你将创建四个可视化效果： 饼图、柱状图、坐标图和。它非常简单，基于浏览器的接口使我们能够快速的创建和分享显示。初次使用我们可以进行一些简单的测试，比如查看。一起工作的开源的分析和可视化的平台。
2022-10-26 07:14:15
232
原创 02-ELK指南-LogStash安装
LogStash安装1、LogStash插件介绍Logstash是一个具有实时管道的开源数据收集引擎。可以动态地统一不同来源的数据，并将数据归到不同目的地。也是一个管理事件和日志工具。你可以用它来收集日志，分析它们，并将它们储存起来以供 以后使用。Logstash通常都是和Kibana以及一起使用。2、logStash安装#注意版本和必须保持一致，es,kibana都是6.2.4版本wget#解压tar-zxvf#启 动 基 本 的。
2022-10-26 07:03:22
534
原创 01-ELK指南
一、ELK是什么？：后台分布式存储以及全文检索日 志 加 工 、“搬 运 工” kibana：数据可视化展示。ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。三者相互配合，取长补短，共同完成分布式大数据处理工作。二、ES安装1、下载ES下载：（文件比较大，建议手动下载）
2022-10-25 02:11:51
613
原创 ES数据存储和集群路由原理
不过对于 Elastic Stack 的日志场景来说，恰恰相反，我们并不需要如此高的实时性，而是需要更快的写入性能。既然涉及到磁盘，那么一个不可避免的问题就来了：磁盘太慢了！这一步刷到文件系统缓存的步骤，在 Elasticsearch 中，是默认设置为 1 秒间隔的，对于大多数应用来。如果每次一条数据写入内存后立即写到硬盘文件上，由于写入的数据肯定是离散的，因此写入硬盘的操。以在线动态服务的层面看，要做到实时更新条件下数据的可用和可靠，就需要在倒排索引的基础上，再。中，此时写入的数据还不能被查询到。
2022-10-19 07:44:36
2530
原创 FastDFS图片压缩适配
图像与调色板中指定的颜色时，能够保留。透明度的损失将导致更好的图像质量。较小的值通常意味着既降低图像质量，降低数据传输，推荐的最大值为。按比例降低图像比較大的側面积和还有一側多余的载翦边缘，其他和。旋转指定度数的图像，參数能够包括变量，单独或一起与。按比例降低图像到指定大小，公降低一个能够还有一个用。添加了终于图像的清晰度。这个模块默认不被编译，所以要在编译。设置读取图像缓冲的最大大小，超过则。假设启用，终于的图像将被交错。，參数值可包括变量，能够与。一起使用，则两个一起生效。由于添加了新的模块，所以。
2022-10-18 08:08:10
590
原创 FastDFS合并存储原理
对于小文件，尤其是大文件和小文件混合存储或者经过大量删除和修改后，数据块分配的随机性会进一步加剧，数据块可能零散分布在磁盘上的不同位置，并且会造成大量的磁盘碎片。当文件需要存储数据时，文件系统根据预定的策略分配数据块，分配策略会综合考虑数据局部性、存储空间利用效率等因素，通常会优先考虑大文件。这样，并发的小文件访问就转变成了大量的随机访问，而这种访问对于广泛使用的磁盘来说是非常低效的。首先到空闲平衡树中查找大于并且最接近的空闲块，然后试着从该空闲块中分割出多余的部分作为一个新的空闲块，
2022-10-17 07:51:03
608
原创 FastDFS文件同步原理
4. 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。服务器宕机，下次重新启动，重新加载同步文件，发现没有同步完成。之间的同步都是由一个独立线程负责的，这个线程中的所有操作都是以同步方式执行的。是否有该文件，只要解析文件的创建时间，然后与该值作比较，若该值大于创建创建时间，说明该。（大写的都是），则将该行指定的操作同步给对方（非源操作不需要同步），同步成功后更新。
2022-10-12 20:55:12
1318
原创 FastDFS实战环境搭建
（13）、docker引擎（yum install docker--- docker hub）和镜像(fastdfs.tar)老师能给一个吗？（11）、文件的同步机制和上传机制肯定是会有冲突的啊, 这个是怎么解决的？（9）、会不会有是一个文件太大，在同步的时间其他服务空间不够的问题呢？（1）、上传文件的时候是nginx直接连接到文件服务器吗？（12）、最大空闲机器不是某台机器么，怎么和组关联的？（5）、如果文件比较大，同组之间数据同步会不会很慢？（8）、负载写到A组，读的时候怎么知道在A组呢？
2022-10-12 08:45:14
136
原创 FastDFS分布式文件系统架构设计
FastDFS 特点：1、c语言开发2、专门为互联网量身定制 （存储中小型文件） ---- IDC --- 200亿3、在线扩容、冗余备份、负载均衡4、文件存储、文件同步、文件访问，上传，下载中小型文件：1M以下是小文件， 1M 500M—中文件。
2022-10-12 00:13:23
411
原创 1-EleasticSearch高可用集群核心原理
群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名 字，这个名字会在启动的时候赋予节点。分片的最大容量完 全取决于你的使用状况：硬件存储的大小、文档的大小和复杂度、如何索引和查询你的文档，以及你期 望的响应时间。的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们 能够相互发现彼此，它们将会自动地形成并加入到一个叫做。后分片分配到你集群中的节点上。一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。
2022-09-29 08:26:26
636
原创 ElasticSearch安装和插件安装
是允许配置的，但由于这样配置的任何地方都可以访问，所以有安全风险。再次启动，发现还是报错，原因：当前用户没有执行权限。第五，统计一段时间的结果或该段时间结果比对的能力。创建日志、数据存储目录：（留作备用，初次先创建）问题同上，最大线程个数太低。）簇浏览，显示簇的拓扑并允许你执行索引（用户下启动，必须创建新的用户，用来启动。用户下启动，必须创建新的用户，用来启动。文件，增加配置，用户退出后重新登录生效。下载：（文件比较大，建议手动下载）第六，以简单图标的形式绘制传输结果。）显示簇状态，有许多快速访问的。
2022-09-24 07:57:52
1191
原创 Elasticsearch核心概念
查询时根据关键词查询索引，最终找到包含关键词的文章），它将数据和索引分离，把索引分片，分布式的保存到不同节点，节点可以扩展到上百个，能实时检索、处理。实际项目开发实战中，几乎每个系统都会有一个搜索的功能，当数据达到很大且搜索要做到一定程度时，维护和扩展难度就会越来越高，并且在全文检索的速度上、结果内容的推荐、分析以及统计聚合方面也很难达到我们预期效果。实际项目开发实战中，几乎每个系统都会有一个搜索的功能，当搜索做到一定程度时，维护和扩展起来难度就会慢慢变大，所以很多公司都会把搜索单独独立出一个模块，用。
2022-09-21 07:59:29
222
1
原创 ElasticSearch全文检索的流程分析
有人可能会说，对非结构化数据顺序扫描很慢，对结构化数据的搜索却相对较快（由于结构化数据有一定的结构可以采取一定的搜索算法加快速度），那么把我们的非结构化数据想办法弄得有一定结构不就行了吗？这种想法很天然，却构成了全文检索的基本思路，也即将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。
2022-09-19 08:12:56
333
原创 ElasticSearch全文检索技术
对非结构化数据顺序扫描很慢，对结构化数据的搜索却相对较快，那么把我们的非结构化数据想办法弄得有一定结构不就行了吗？这就是全文检索的基本思路，也即将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。：所谓顺序扫描法，就是顺序扫描每个文档内容，看看是否有要搜索的关键字，实现查找文档的功能，也就是根据文档找词。，改变了传统意义上的静态搜索模式，用户对于搜索的结果是实时变化的。的搜索，即用户搜索的只是从信息库里边筛选出来的信息。
2022-09-14 22:36:42
1885
2
原创 Elasticsearch学习笔记
2004 年 Shay Banon 基于 Lucene 开发了 Compass，2010 年 重写了 Compass，取名 Elasticsearch，使其支持分布式，可水平拓展，并提供 restful 接口，让任何编程语言进行使用。引擎，可以从海量的数据中高效的找到相关信息。ES 常常搭配一些产品提供一些解决方案，如常提到的 ELK 就是，ES，Logstash 和 Kibana 的统称，下图很好的描述了 ES 家族及其生态。ES 物理架构（集群，节点，shard 等）的介绍。高性能，非 T +1。
2022-09-05 08:11:18
116
原创 2.Java泛型指南-泛型擦除、泛型表达式、类型边界、通配符、无限制通配符、上界通配符下界通配符、泛型作用域、类型上限、?类型泛型、构造函数泛型，泛型使用规则
泛型擦除、泛型表达式、类型边界、通配符、无限制通配符、上界通配符下界通配符、泛型作用域、类型上限、?类型泛型、构造函数泛型，泛型使用规则
2022-09-05 07:58:55
125
原创 1.Java泛型指南-泛型的定义
Java泛型(Generic)是J2 SE1.5中引入的一个新特性，其本质是参数化类型，也就是说所操作的数据类型被指定为一个参数（type parameter）这种参数类型可以用在类、接口和方法的创建中，分别称为泛型类、泛型接口、泛型方法。
2022-09-05 07:53:04
134
原创 23-Spring事务源码分析
3.事务管理器Spring并不直接管理事务，而是提供了多种事务管理器，他们将事务管理的职责委托给Hibernate或者JTA等持久化机制所提供的相关平台框架的事务来实现。Spring事务管理器的接口是org.springframework.transaction.PlatformTransactionManager，通过这个接口，Spring为各个平台如JDBC、Hibernate等都提供了对应的事务管理器，但是具体的实现就是各个平台自己的事情了。
2022-09-02 06:45:41
221
原创 22-Spring MVC源码跟踪
上面的方法中，第2步其实就是从第一个步骤中的Map中取得Controller，然后经过拦截器的预处理方法，到最核心的部分–第5步调用controller的方法处理请求。在第2步中我们可以知道处理request的Controller，第5步就是要根据url确定Controller中处理请求的方法，然后通过反射获取该方法上的注解和参数，解析方法和参数上的注解，最后反射调用方法获取ModelAndView结果视图。到这里,方法的参数值列表也获取到了，就可以直接进行方法的调用了。
2022-09-02 06:43:10
168
原创 21-mvc 体系结构源码详解
spring mvc 解决的问题1. URL映射2. 表单参数映射3. 调用目标Control4. 数据模型映射5. 视图解析6. 异常处理
2022-09-02 06:38:18
315
原创 20-spring mvc设计思想和源码解读-spring mvc 功能特性
可以看出 Handler 没有统一的接口，当dispatchServlet获取当对应的Handler之后如何调用呢？其为mvc 中url路径与Control对像的映射，DispatcherServlet 就是基于此组件来寻找对应的Control，如果找不到就会报 No mapping found for HTTP request with URI的异常。找到应的Adapter 之后就会基于适配器调用业务处理，处理完之后业务方会返回一个ModelAndView ，在去查找对应的视图进行处理。...
2022-08-30 08:18:20
152
原创 18-Spring AOP源码分析-AOP与BeanPostProcessor处理器
1:>org.springframework.aop.framework.autoproxy.AbstractAutoProxyCreator#postProcessAfterInitialization源码分析*
2022-08-24 08:19:47
273
原创 17-Spring AOP源码分析-AnnotationAwareAspectJAutoProxyCreator
3）所以我们现在可以分析一下AnnotationAwareAspectJAutoProxyCreator 他是什么一个鬼？根据上诉类图1)我们***发现了AnnotationAwareAspectJAutoProxyCreator 有实现了**Aware接口的特性(BeanFactoryAware)2)还发现了*AnnotationAwareAspectJAutoProxyCreator 实现了BeanPostProcessor接口（后置处理器的特性）**3)还发现了**AnnotationAwareAs
2022-08-24 08:17:42
153
原创 16-Spring AOP源码分析-@EnableAspectJAutoProxy和AspectJAutoProxyRegistrar
*2.1)我们发现@EnableAspectJAutoProxy上标注了一个@Import注解，通过前面的学习我们知道@Import可以给我们容器****中添加组件。**2）我们看到在我们配置类上加入了@EnableAspectJAutoProxy,我们着重来分析一下这个东东给我容器中添加了什么组件？ImportBeanDefinitionRegistrar可以给我们容器中添加bean定义信息*
2022-08-24 08:15:56
204
原创 15-Spring架构源码分析-Spring代理与AOP
日志代码往往横向地散布在所有对象层次中，而与它对应的对象的核心功能毫无关系对于其他类型的代码，如安全性、异常处理和透明的持续性也都是如此，这种散布在各处的无关的代码被称为横切（cross cutting），在OOP设计中，它导致了大量代码的重复，而不利于各个模块的重用。所谓"切面"，简单说就是那些与业务无关，却为业务模块所共同调用的逻辑或责任封装起来，便于减少系统的重复代码，降低模块之间的耦合度，并有利于未来的可操作性和可维护性。横切关注点的一个特点是，他们经常发生在核心关注点的多处，而各处基本相似，
2022-08-24 08:03:55
150
原创 14-Spring架构源码分析-IoC 之加载 Bean：总结
从 BeanDefinition 到我们需要的目标还需要一个漫长的 bean 的初始化阶段，在 Spring bean 加载阶段已经详细分析了初始化 bean 的过程，所以这里做一个概括性的总结。bean 的初始化节点，由第一次(显式或者隐式)调用方法来开启，所以我们从这个方法开始。}// 返回 bean 名称，剥离工厂引用前缀。// 如果 name 是 alias ，则获取对应映射的 beanName。// 从缓存中或者实例工厂中获取 Bean 对象} else {}}
2022-08-22 21:37:09
142
原创 13-Spring架构源码分析-IoC 之开启 Bean 的加载
某些情况下，实例化 bean 过程比较复杂，如果按照传统的方式，则需要在 中提供大量的配置信息，配置方式的灵活性是受限的，这时采用编码的方式可能会得到一个简单的方案。Spring IoC 容器所起的作用如上图所示，它会以某种方式加载 Configuration Metadata，将其解析注册到容器内部，然后回根据这些信息绑定整个系统的对象，最终组装成一个可用的基于轻量级容器的应用系统。后续将会对该过程进行拆分，更加详细的说明，弄清楚其中的来龙去脉，所以只能算是 Spring Bean 加载过程的一个概览。.
2022-08-17 23:42:35
203
原创 12-Spring架构源码分析-IoC 之装载 BeanDefinitions 总结
前面 从源码层次，分析了 IoC BeanDefinition 装载的整个过程，这篇就这些内容做一个总结将其连贯起来。在前文提过，IoC 容器的初始化过程分为三步骤：Resource 定位、BeanDefinition 的载入和解析，BeanDefinition 注册。整体步骤Resource 定位。我们一般用外部资源来描述 Bean 对象，所以在初始化 IoC 容器的第一步就是需要定位这个外部资源。在上一篇《IoC 之 Spring 统一资源加载策略》已经详细说明了资源加载的过程。...
2022-08-17 23:38:56
153
原创 11-Spring架构源码分析-IoC 之注册解析的 BeanDefinitions
的 BeanDefinition，则判断当前阶段是否已经开始了 Bean 的创建阶段？如果是，则需要对 beanDefinitionMap 进行加锁控制并发问题，否则直接设置即可。对 BeanDefinition 进行校验，该校验也是注册过程中的最后一次校验了，主要是对 AbstractBeanDefinition 的。的维度，都已经注入到缓存中，下一步则是等待初始化使用了。我们，后续的文章，继续搞起来。方法，完成 Bean 标签解析的核心工作。BeanDefinition 的注册，由接口。...
2022-08-16 08:32:27
150
原创 10-Spring架构源码分析-IoC 之解析 bean标签：BeanDefinition
解析 `bean` 标签步骤来了，解析 bean 标签的过程其实就是构造一个 BeanDefinition 对象的过程。`` 元素标签拥有的配置属性，BeanDefinition 均提供了相应的属性，与之一一对应。所以，我们有必要对 BeanDefinition **先**有一个整体的认识。...
2022-08-16 08:29:51
139
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人