- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Redis之AOF重写及其实现原理
AOF 重写 AOF 文件重写的实现 AOF重写功能的实现原理 AOF后台重写 使用子进程进行AOF重写的问题 如何修正 效果 完成AOF重写之后 触发AOF后台重写的条件 总结 ref AOF 重写AOF 持久化是通过保存被执行的写命令来记录数据库状态的，所以AOF文件的大小随着时间的流逝一定会越来越大；影响包括但不限于：对于Redi...
2018-08-26 19:39:50
8614
4
转载 Web前后端缓存技术
Web缓存技术一、缓存概述缓存原本是一个硬件的概念：缓存就是数据交换的缓冲区（称作Cache），当某一硬件要读取数据时，会首先从缓存中查找需要的数据，如果找到了则直接执行，找不到的话则从内存中找。由于缓存的运行速度比内存快得多，故缓存的作用就是帮助硬件更快地运行。在一个Web应用中，应用到缓存的地方有很多，主要有浏览器缓存，页面缓存，服务器缓存，数据库缓存等。缓存的作用主要有：...
2018-08-26 15:49:55
4720
转载 MySQL索引背后的数据结构及算法原理
索引的本质MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。我们知道，数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找（linear search），这种复杂度为O(n)的算法在数据量很大时显然是...
2018-08-26 12:51:37
459
转载 MySQL中MyISAM与InnoDB区别及选择
1、 存储结构MyISAM：每个MyISAM在磁盘上存储成三个文件。第一个文件的名字以表的名字开始，扩展名指出文件类型。.frm文件存储表定义。数据文件的扩展名为.MYD (MYData)。索引文件的扩展名是.MYI (MYIndex)。InnoDB：所有的表都保存在同一个数据文件中（也可能是多个文件，或者是独立的表空间文件），InnoDB表的大小只受限于操作系统文件的大小，一般为2GB。...
2018-08-26 12:02:23
128
转载 PHP安全之Web攻击
一、SQL注入攻击(SQL Injection)攻击者把SQL命令插入到Web表单的输入域或页面请求的字符串，欺骗服务器执行恶意的SQL命令。在某些表单中，用户输入的内容直接用来构造（或者影响）动态SQL命令，或作为存储过程的输入参数，这类表单特别容易受到SQL注入式攻击。常见的SQL注入式攻击过程类如：1.某个Web应用有一个登录页面，这个登录页面控制着用户是否有权访问应用，它要求用户输入...
2018-08-24 19:31:22
152
转载 nginx工作原理和优化
1. Nginx的模块与工作原理Nginx由内核和模块组成，其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个location block（location是Nginx配置中的一个指令，用于URL匹配），而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。Nginx的模块从结构上分为核心模块、基础模块和第三方模块：...
2018-08-24 10:52:35
141
转载 为啥性能高？nginx架构初探
nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。我们也可以手动地关掉后台模式，让nginx在前台运行，并且通过配置让nginx取消master进程，从而可以使nginx以单进程方式运行。很显然，生产环境下我们肯定不会这么做，所以关闭后台模式，一般是用来调试用的，在后面的章节里面，我们会详细地讲解如何调试nginx。所以，...
2018-08-24 10:49:54
802
转载 Keepalived之——Keepalived + Nginx 实现高可用 Web 负载均衡
一、Keepalived 简要介绍Keepalived 是一种高性能的服务器高可用或热备解决方案， Keepalived 可以用来防止服务器单点故障的发生，通过配合 Nginx 可以实现 web 前端服务的高可用。Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。 VRRP(Virtual RouterRedundancy Protocol)协议是...
2018-08-24 10:42:54
170
转载 Nginx配置详解
使用的用户和组user www www;指定工作衍生进程数（一般等于CPU的总核数或总核数的两倍）worker_processes 8;前方高能，请注意！下面分别是开启了8个内核，8个进程(如果需要开启16进程，00000001 修改成00000001 00000010 代表第一个CPU内核处理第一个和第二个进程,有多少个进程就写多少个数，每个数的第几位代表对应的第几核）worke...
2018-08-24 10:41:13
130
转载 Nginx优化篇——配置优化
user www-data; #运行的用户 pid /var/run/nginx.pid; worker_processes auto; #定义了nginx对外提供web服务时的worder进程数，CPU核的数量、存储数据的硬盘数量及负载模式 worker_rlimit_nofile 100000; #更改worker进程的最大打开文件数限制,比'ulimit -a'多。解决"too man...
2018-08-24 10:40:45
293
原创 nginx配置
1.worker_processes定义了nginx对外提供web服务时的worder进程数。最优值取决于许多因素，包括（但不限于）CPU核的数量、存储数据的硬盘数量及负载模式。一般设置CPU内核数 x 2;不能确定的时候，将其设置为可用的CPU内核数将是一个好的开始（设置为“auto”将尝试自动检测它）2.worker_rlimit_nofile 更改worker进程的最大打开文件数...
2018-08-24 10:40:37
141
转载 分析Nginx epoll高效事件模型
首先Nginx支持以下这些事件模型： Nginx支持如下处理连接的方法(I/O复用方法)，这些方法可以通过use指令指定。 * select – 标准方法。 如果当前平台没有更有效的方法，它是编译时默认的方法。你可以使用配置参数 –with-select_module 和 –without-select_module 来启用或禁用这个模块。 * poll – 标准方法。 如果当前...
2018-08-24 10:40:29
230
转载 Nginx配置优化指南
前言大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装，修改这里或那里的几行配置，好了，你已经有了一个Web服务器了！而且，在大多数情况下，一个常规安装的nginx对你的网站来说已经能很好地工作了。然而，如果你真的想挤压出nginx的性能，你必须更深入一些。在本指南中，我将解释Nginx的那些设置可以微调，以优化处理大量客户端时的性能。需要注意一点，这不是一个全面的微调指南...
2018-08-24 10:40:20
121
转载 HTTPS 原理与实现
在日常互联网浏览网页时，我们接触到的大多都是 HTTP 协议，这种协议是未加密，即明文的。这使得 HTTP 协议在传输隐私数据时非常不安全。因此，浏览器鼻祖 Netscape 公司设计了 SSL（Secure Sockets Layer） 协议，用于对 HTTP 协议传输进行数据加密，即 HTTPS 。HTTPS 和HTTP 协议相比提供了：数据完整性：内容传输经过完整性校验 数据隐私性...
2018-08-24 10:40:11
736
转载 Redis数据过期和淘汰策略详解
背景Redis作为一个高性能的内存NoSQL数据库，其容量受到最大内存限制的限制。用户在使用阿里云Redis时，除了对性能，稳定性有很高的要求外，对内存占用也比较敏感。在使用过程中，有些用户会觉得自己的线上实例内存占用比自己预想的要大。事实上，实例中的内存除了保存原始的键值对所需的开销外，还有一些运行时产生的额外内存，包括：垃圾数据和过期Key所占空间 字典渐进式Rehash导致...
2018-08-24 10:40:04
3105
2
转载 Nginx+keepalived双机热备（主从模式）
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。关于负载均衡介绍，可以参考：linux负载均衡总结性说明（四层负载/七层负载）由于业务扩展，网站的访问量不断加大，负载越来越高。现需要在web前端放置nginx负载均衡,同时结合keepalived对前端nginx实现HA高可用。1）...
2018-08-24 10:39:35
194
转载 MySql配置优化
1.back_logback_log = 500要求 MySQL 能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时间内有很多连接，你需要增加它，换句话说，这值对到来的TCP/IP连接的...
2018-08-24 10:39:25
1415
转载 php-fpm优化
1.子进程最大数：max_children这个值原则上是越大越好，php-cgi的进程多了就会处理的很快，排队的请求就会很少。设置”max_children”也需要根据服务器的性能进行设定一般来说一台服务器正常情况下每一个php-cgi所耗费的内存在20M左右假设“max_children”设置成100个，20M*100=2000M也就是说在峰值的时候所有PHP-CGI所耗内存在2000...
2018-08-24 10:39:12
832
转载 o(1), o(n), o(logn), o(nlogn)
在描述算法复杂度时,经常用到o(1), o(n), o(logn), o(nlogn)来表示对应算法的时间复杂度, 这里进行归纳一下它们代表的含义: 这是算法的时空复杂度的表示。不仅仅用于表示时间复杂度，也用于表示空间复杂度。 O后面的括号中有一个函数，指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据的量。 比如时间复杂度为O(n)，就代表数据量增大几倍，耗时也增大几倍...
2018-08-24 10:39:00
157
转载 redis永久化存储
为什么需要持久化存储？原因：redis是存放在内存中的，断电会导致数据丢失解决方法：把redis数据进行持久性存储，将其存储在磁盘中。存储方式：1.RDBRDB中文名为快照/内存快照，Redis按照一定的时间周期将目前服务中的所有数据全部写入到磁盘中。缺点：如果备份时间周期是5分钟，但是在4分59秒时redis崩溃，会造成这段时间内的数据无法备份，从而丢失数据。配置处理：...
2018-08-24 10:38:36
1759
转载 Redis系列（三）--过期策略
1、Redis中key的的过期时间通过EXPIRE key seconds命令来设置数据的过期时间。返回1表明设置成功，返回0表明key不存在或者不能成功设置过期时间。在key上设置了过期时间后key将在指定的秒数后被自动删除。被指定了过期时间的key在Redis中被称为是不稳定的。当key被DEL命令删除或者被SET、GETSET命令重置后与之关联的过期时间会被清除 1 ...
2018-08-24 10:38:02
538
转载 Redis数据过期策略详解
本文对Redis的过期机制简单的讲解一下 讲解之前我们先抛出一个问题，我们知道很多时候服务器经常会用到redis作为缓存，有很多数据都是临时缓存一下，可能用过之后很久都不会再用到了（比如暂存session，又或者只存放日行情股票数据）那么就会出现一下几个问题了Redis会自己回收清理不用的数据吗？ 如果能，那如何配置？ 如果不能，如何防止数据累加后大量占用存储空间的问题？ 之前一直...
2018-08-24 10:37:37
172
转载 mysql tinyint和char(1)性能对比
在数据库设计的时候会遇到很多只需要0、1、2这种固定几个值的状态字段，基本上都建议设置为只占一字节的tinyint类型，有些觉得char(1)是一样，毕竟char(1)存储数字和字母时一个字符也只是占一个字节。mysql是用c++写的，而在c++中字符类型是存放对应ascii码的二进制到存储空间，而整型数字是直接存数字的二进制，虽然最终都是二进制存储，但是环节上有少许不同，同样在msyql查找...
2018-08-24 10:37:14
14648
转载 Redis和Memcached的区别
Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较：Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样...
2018-08-24 10:37:03
100
转载 Redis、Memcache和MongoDB的区别
>>MemcachedMemcached的优点：Memcached可以利用多核优势，单实例吞吐量极高，可以达到几十万QPS（取决于key、value的字节大小以及服务器硬件性能，日常环境中QPS高峰大约在4-6w左右）。适用于最大程度扛量。支持直接配置为session handle。Memcached的局限性：只支持简单的key/value数据结构，不像Redis可以支持丰富...
2018-08-24 10:36:51
101
转载 mysql高可用方案对比
1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：Ø 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。Ø 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。Ø 当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一...
2018-08-24 10:36:28
11571
转载 MySQL InnoDB中，乐观锁、悲观锁、共享锁、排它锁、行锁、表锁、死锁概念的理解
MySQL/InnoDB的加锁，一直是一个面试中常问的话题。例如，数据库如果有高并发请求，如何保证数据完整性？产生死锁问题如何排查并解决？我在工作过程中，也会经常用到，乐观锁，排它锁，等。于是今天就对这几个概念进行学习，屡屡思路，记录一下。注：MySQL是一个支持插件式存储引擎的数据库系统。本文下面的所有介绍，都是基于InnoDB存储引擎，其他引擎的表现，会有较大的区别。存储引擎查看M...
2018-08-24 10:36:05
4038
转载 memCache 基础介绍与工作原理
1、什么是MemCache官方说明：MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-value存储，数据可以来自数据库调用、API调用，或...
2018-08-22 22:03:32
205
转载 redis 通信协议-了解 Redis 客户端实现原理
简介几乎所有的主流编程语言都有Redis的客户端，不考虑Redis非常流行的原因，如果站在技术的角度看原因还有两个：客户端与服务端之间的通信协议是在 TCP 协议之上构建的。客户端和服务器通过 TCP 连接来进行数据交互， 服务器默认的端口号为 6379 。客户端和服务器发送的命令或数据一律以 rn （CRLF）结尾。Redis制定了 RESP（REdis Serializ...
2018-08-22 22:01:33
1054
转载 分析Redis架构设计
一、前言因为近期项目中开始使用Redis，为了更好的理解Redis并应用在适合的业务场景，需要对Redis设计与实现深入的理解。我分析流程是按照从main进入，逐步深入分析Redis的启动流程。同时根据Redis初始化的流程，理解Redis各个模块的功能及原理。 二、redis启动流程1.初始化server变量，设置redis相关的默认值2.读入配置文件，同时接收命令行中传...
2018-08-22 21:52:33
126
转载 redis原理及使用
1.原理介绍（1）什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非...
2018-08-22 21:47:25
235
转载 mysql 工作原理
刚开始接触一个新的事物的时候，我觉得很有必要从其工作原理入手，弄清楚这个东西的来龙去脉，为接下来的继续深入学习做好铺垫，掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图： 上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。 ...
2018-08-22 21:43:58
117
转载 深入理解PHP之：Nginx 与 FPM 的工作机制
要说 Nginx 与 PHP 是如何协同工作的，首先得说 CGI (Common Gateway Interface) 和 FastCGI 这两个协议。CGI 是 Web Server 与后台语言交互的协议，有了这个协议，开发者可以使用任何语言处理 Web Server 发来的请求，动态的生成内容。但 CGI 有一个致命的缺点，那就是每处理一个请求都需要 fork 一个全新的进程，随着 Web...
2018-08-22 21:31:52
191
转载 PHP7新特性整理介绍篇
概述PHP7将在2015年10月正式发布，PHP7 ，将会是PHP脚本语言的重大版本更新，同时将带来大幅的性能改进和新的特性，以及改进一些过时功能。 该 发布版本将会专注在性能加强，源自PHP版本树中的phpng分支。在硅谷公司的ZendCon会议，PHP工具厂商Zend技术官方讨论phpng和 PHP7的进度。“（本次升级）真正专注于帮助业界的应用程序显著加强执行速度，再加上，我们在PHP...
2018-08-21 19:23:48
1186
转载 mysql主从同步延时解决
在从服务器上执行show slave status;可以查看到很多同步的参数，我们需要特别注意的参数如下：Master_Log_File： SLAVE中的I/O线程当前正在读取的主服务器二进制日志文件的名称Read_Master_Log_Pos： 在当前的主服务器二进制日志中，SLAVE中的I/O线程已经读取的位置Relay_Log_File： SQL线程当前正在读取和执行的中继日志文...
2018-08-21 19:22:46
664
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人