nodejs的redis协议解析器

最新推荐文章于 2024-07-26 09:40:31 发布
最新推荐文章于 2024-07-26 09:40:31 发布
阅读量95 收藏
点赞数
文章标签： 数据库 javascript ViewUI
原文链接：https://my.oschina.net/scgywx/blog/158009
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

      最近用nodejs做项目，大规模的使用了redis，在windows下开发老是遇到各种问题，因为redis的协议解析器有问题，本来redis模块有两种协议解析的方式，一种是使用js实现的，另一种则是使用redis官方提供的hiredis的模块，当使用hiredis模块的时候当然一切正常，但是如果你是windows上的开发者，那么你没得选择，只能使用js版解析器，因为hiredis的模块在windows下安装不了，可是使用js版的解析器的时候就会出现各种问题，曾经改过几次这个js文件，但是还是没能把BUG完全修复完，于是一股脑直接重写了这个解析器，这次改动首先是修复各种协议上的问题，其中最大的区别是在效率的很大程度的提升，为什么这么说？因为原始的解析器方式是这样，如果一条完整的数据包有10K，此时因为网络原因只传输了8K，那么他必须先尝试解析，一旦发现包长度不够，就会等下次2K的数据来了之后再重新解析，意思就是说，之前解析的那8K的时间浪费了。而我改动的则是可以续解析，上次解析到哪里，下次收到数据包后，再接着上次解析的地方继续往下执行，节约了很多时间。简单介绍之后贴上代码吧，希望能对大家有帮助。 



var events = require("events"),
	util = require('../util');
	
exports.name = "fast javascript parser";
exports.debug_mode = false;

function Multi(n)
{
	this.total = n;
	this.offset = 0;
	this.data = [];
}

Multi.prototype.push = function(d)
{
	this.offset++;
	this.data.push(d);
};

Multi.prototype.isFull = function()
{
	return (this.total == this.offset);
};

Multi.prototype.incr = function()
{
	this.offset++;
};

function ReplyParser(options)
{
	this.name = exports.name;
	this.options = options || { };

	this._buffer			= null;
	this._start				= -1;
	this._offset			= 0;
	this._encoding			= "utf-8";
	this._debugMode			= options.debug_mode;
	this._multi				= false;//多条数据?
	this._multiData			= null;//多条数据成员
	this._multiCursor		= null;//游标
	this._data				= null;//单条数据内容
	this._dataType			= 0;//单条数据类型
	this._dataTotal			= 0;//单条数据总大小
	this._dataOffset		= 0;//单条已接收的数据大小
	this._parserFunc		= {
		'+' : this._parseStatus,
		'-' : this._parseError,
		':' : this._parseInteger,
		'$' : this._parseBulk,
		'*' : this._parseMulti
	};
}

util.inherits(ReplyParser, events.EventEmitter);

exports.Parser = ReplyParser;

ReplyParser.prototype.execute = function(buf)
{
	this.append(buf);
	
	while(this._offset < this._buffer.length)
	{
		if(!this._dataType){
			if(this._buffer[this._offset] == 0x0d || 
				this._buffer[this._offset] == 0x0a)
			{//上次可能预留下来的结束标记
				this._offset++;
				continue;
			}
			this._dataType = this._buffer[this._offset];
			this._offset++;
		}
		
		var type = String.fromCharCode(this._dataType);
		if(this._parserFunc[type]){
			var result = this._parserFunc[type].apply(this);

			if(result){
				if(this._multi){//多行数据
					if(type == '*'){//当前处理的是头信息
						if(this._multiCursor.total == -1){//多行数据异常
							this._multiCursor.offset = -1;
							this._multiCursor.data = null;
						}
					}else{//多行数据又处理一条
						this._multiCursor.push(this._data);
					}
					
					//是否需要移动游标?
					if(this._multiCursor.isFull() && 
						(this._multiCursor != this._multiData))
					{
						this._multiData.push(this._multiCursor.data);
						this._multiCursor = this._multiData;
					}
					
					//完整的多行数据处理完毕
					if(this._multiData.isFull()){
						this._sendReply(this._multiData.data);
						this._reset2();
						this._reset3();
					}
				}else if(type == '-'){//错误
					this._sendError(this._data);
					this._reset3();
				}else{//单条数据
					this._sendReply(this._data);
					this._reset3();
				}
				
				//重置数据
				this._reset();
			}
		}else{//非法的定义
			break;
		}
	}
};

ReplyParser.prototype.append = function(buf)
{
	//empty
	if(!buf){
		return ;
	}
	
	//first
	if(this._buffer === null){
		this._buffer = buf;
		return ;
	}
	
	//append
	this._buffer = Buffer.concat([this._buffer.slice(0), buf]);
};

//解析出错
ReplyParser.prototype._parserError = function (message)
{
	this.emit("error", message);
};

//发送错误
ReplyParser.prototype._sendError = function (reply)
{
	this.emit("reply error", reply);
};

//发送数据
ReplyParser.prototype._sendReply = function (reply)
{
	this.emit("reply", reply);
};

//重置数据
ReplyParser.prototype._reset = function()
{
	this._start			= -1;
	this._data			= null;
	this._dataTotal		= 0;
	this._dataOffset	= 0;
	this._dataType		= 0;
};

//重置multi数据
ReplyParser.prototype._reset2 = function()
{
	this._multi			= false;
	this._multiData		= null;
	this._multiCusror	= null;
};

//重置buffer
ReplyParser.prototype._reset3 = function()
{
	this._buffer		= this._buffer.slice(this._offset);
	this._offset		= 0;
};

//只查找\r,忽略所后面的\n
ReplyParser.prototype._findEnd = function()
{
	var offset = this._offset;
	
	while(offset < this._buffer.length)
	{
		if(this._buffer[offset] == 0x0d){
			return offset;
		}
		offset++;
	}
	
	return false;
};

//解析状态
ReplyParser.prototype._parseStatus = function()
{
	if(this._start === -1){
		this._start = this._offset;
	}
	
	//查找结束标记
	var end = this._findEnd();
	if(end === false){
		this._offset = this._buffer.length;
		return false;
	}
	
	this._offset = end + 1;
	this._data = this._buffer.toString(this._encoding, this._start, end);
	
	return true;
};

//解析错误
ReplyParser.prototype._parseError = function()
{
	if(this._start === -1){
		this._start = this._offset;
	}
	
	var end = this._findEnd();
	if(end === false){
		this._offset = this._buffer.length;
		return false;
	}
	
	this._offset = end + 1;
	this._data = this._buffer.toString(this._encoding, this._start, end);
	
	return true;	
};

//解析数字
ReplyParser.prototype._parseInteger = function()
{
	if(this._start === -1){
		this._start = this._offset;
	}
	
	var end = this._findEnd();
	if(end === false){
		this._offset = this._buffer.length;
		return false;
	}
	
	this._offset = end + 1;
	this._data = +(this._buffer.toString(this._encoding, this._start, end));
	
	return true;
};

//解析单条数据
ReplyParser.prototype._parseBulk = function()
{
	//读头信息
	if(!this._dataTotal)
	{
		if(this._start === -1){
			this._start = this._offset;
		}
		
		var end = this._findEnd();
		if(end === false){
			this._offset = this._buffer.length;
			return false;
		}
		
		this._offset = end + 1;
		this._dataOffset = 0;
		this._dataTotal = +(this._buffer.toString(this._encoding, this._start, end));
		
		//空数据
		if(this._dataTotal == -1){
			return true;
		}
	}
	
	//缓冲区已空
	if(this._offset >= this._buffer.length){
		return false;
	}
	
	//准备开始读数据，\n要去掉
	if((this._dataOffset == 0) && (this._buffer[this._offset] == 0x0a)){
		this._offset++;
	}
	
	//分别计算出buffer中剩余的数据和本次需要的数据长度
	var need = this._dataTotal - this._dataOffset;
	var remain = this._buffer.length - this._offset;
	
	//buffer中有足够的数据
	if(remain >= need){
		this._offset+= need;
		this._data = this._buffer.toString(this._encoding, this._offset - this._dataTotal, this._offset);
		return true;
	}
	
	//buffer中数据不足
	this._offset = this._buffer.length;
	this._dataOffset+= remain;
	
	return false;
};

//解析多条数据
ReplyParser.prototype._parseMulti = function()
{
	this._multi = true;

	if(this._start === -1){
		this._start = this._offset;
	}

	var end = this._findEnd();
	if(end === false){
		this._offset = this._buffer.length;
		return false;
	}
	
	var n = +(this._buffer.toString(this._encoding, this._start, end));
	this._offset = end + 1;
	
	if(this._multiData === null){
		this._multiData = new Multi(n);
		this._multiCursor = this._multiData;
	}else{
		var m = new Multi(n);
		this._multiCursor = m;
	}
	
	return true;
};

转载于:https://my.oschina.net/scgywx/blog/158009

weixin_33712987
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis 5通信协议解析以及手写一个Jedis客户端
挂机的阿洋zzZ
12-18 669
Redis 5通信协议解析以及手写一个Jedis客户端 Redis的基础介绍与安装使用步骤：https://blog.csdn.net/qq_34002221/article/details/84963588 Redis的基础数据结构与使用： https://blog.csdn.net/qq_34002221/article/details/84981299 Redis核心原理：https:/...
nodejs redis 发布订阅机制封装实现方法及实例代码
12-23
在Node.js环境中，Redis是一个非常流行的键值存储系统，它提供了丰富的数据结构和高级功能，如发布订阅（Publish-Subscribe，简称Pub/Sub）机制。发布订阅允许消息的发送者（Publisher）向一个或多个订阅者...
Redis协议规范
hhh_2333
01-16 380
Redis协议规范 redis的客户端和redis服务器端的通信协议使用RESP（Redis Serialization Protocol,即Redis序列化协议） RESP是以下几点的一个折衷方案： 实现简单 解析快速 易于理解 RESP不仅可以序列化像整数、字符串、数组这样的类型，同时也可以针对错误类型。Redis客户端发送一个字符串数组格式的命令，Redis服务器回应命令相对应的数据类型...
redis client protocol 解析
有用用之，无用弃之
06-24 3077
在官网http://redis.io/topics/protocol有对redis通信协议有做说明。 基于下面的一些原因，我想解析redis client protocol： 1、足够了解通信协议，有助于做出更好的系统设计。 2、学习RESP的设计思想，不仅能扩展我的思维，也许将来能应用于我的代码中。 3、因为有些人想将redis client直接并入自己已有的系统中；包括我在内。这个
Redis学习之十二 —— Redis 通信协议
ruanhao1203的专栏
04-17 146
Redis 的作者认为数据库系统的瓶颈一般不在于网络流量，而是数据库自身内部逻辑处理上。所以即使 Redis 使用了浪费流量的文本协议，依然可以取得极高的访问性能。Redis 将所有数据都放在内存，用一个单线程对外提供服务，单个节点在跑满一个 CPU核心的情况下可以达到 10w/s 的超高 QPS。 RESP（Redis Serialization Protocol） Redis序列化协议。它...
Nodejs实现redis数据Json格式的导出
02-24
在本文中，我们将深入探讨如何使用Node.js与Redis数据库交互，并特别关注如何将Redis中的数据导出为JSON格式。Node.js是一种流行的JavaScript运行环境，它允许开发者在服务器端执行JavaScript代码，非常适合构建实时...
EjemploRedisNode:Nodejs Redis 示例
06-02
3. **Node.js的`redis`库**：在Node.js项目中，我们会用到`redis`客户端库，可以通过npm（Node包管理器）进行安装，如`npm install redis`。 4. **连接Redis**：在Node.js应用中初始化Redis客户端，并建立到Redis...
nodejs-redis-cluster:redis3.0的nodejs扩展，支持集群
06-18
nodejs-redis-cluster redis3.0 的 nodejs 扩展，支持基于 nodejs npm redis url 的集群： : 更改日志 当我们向 redis 集群的一个节点发送命令时，我们可能会收到类似“ERR: MOVED 111 127.0.0.1:6379”的返回错误...
n-queue:NodeJS Redis 队列
06-06
n-队列NodeJS Redis 队列开发中Alpha 版本计划于 2015 年 5 月发布去做要求NodeJS v0.10.x 或更高版本新产品管理Redis v2.8.x 或更高版本见./package.json安装提供的源代码或通过 NPM 安装模块： $ npm install n-...
redis协议的解析
azurelaker的博客
08-11 2114
操作string类型value的redis命令主要包括set,get,setnx,incr和decr. redis 命令不区分大小写,这里均以小写格式说明. redis set命令 redis set命令的格式为set key bytes\r\nxxxxxx\r\n 命令字符串,key和value之间以空格分割, set命令是buld类型的命令,其value部分由四部分组成, bytes代码...
一文彻底理解Redis序列化协议，你也可以编写Redis客户端
Throwable
11-30 3684
前提 最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块，过程中顺便阅读了Redis服务序列化协议RESP，结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析。编写本文的使用使用的JDK版本为[8+]。 RESP简介 Redis客户端与Redis服务端基于一个称作RESP的协议进行通信，RESP全称为Redis Serialization Protocol...
Redis协议spec（翻译）
jason的专栏
06-06 496
Redis客户端和Redis服务器通过一个叫做RESP（REdis Serialization Protocol，Redis序列化协议）的协议进行通讯。虽然这个协议是为Redis设计的，但是它也能被用在其它的客户端-服务器软件项目。 RESP是以下几个方面妥协的结果： 易于实现 快速解析 可读性好 RESP可以序列化不同的数据类型，比如整型，字符串，数组。另外还有特定的类型表示错误。请求由...
redis 通信协议详解
耿小渣的进阶之路
12-03 9964
一、简介 redis 客户端和服务端之间通信的协议是RESP（REdis Serialization Protocol）。传输层使用TCP。RESP的特点是： 实现容易 解析快 人类可读 二、数据类型 和协议格式 RESP实际上是一个支持以下数据类型的序列化协议：简单字符串（Simple Strings），错误(Errors)，整数(Integers)，批量字符串（Bulk String...
Mysql到Redis的数据协议
llw01的专栏
03-23 795
redis-cli命令行工具有一个批量插入模式，是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。 原理是把要插入到Redis的数据直接转成Redis协议数据流，通过pipe mode 导入到Redis. Redis协议： * 参数个数 $ 第一个参数长度 第一个参数 $ 第二个参数长度 第二个参数 … $ 第n个参数长度
redis：通信协议
OceanStar的博客
10-08 1931
redis的作者认为数据库系统的瓶颈一般不在于网络流量，而在于数据库自身内部逻辑处理上，所以即使Redis使用了浪费流量的文本协议，依然可以取得极高的访问性能。 redis将所有的数据都放在了内存中，用一个单线程对外提供服务，单个节点在跑满一个CPU核心的情况下可以达到10w/s的超过QPS RESP RESP是Redis序列化协议(REdis Serialization Portocol)的简写。它是一种直观的文本协议，优势在于实现过程异常简单，解析性能极好。 Redis协议将传输的结构数据分为5种最小单
Redis Lua解释器使用注意点
程序员写的技术 FAQ 和杂文
04-01 216
Redis Lua解释器加载以下Lua库： base库 table库 string库 math库 struct库 cjson库 cmsgpack库 bitop库 redis.sha1hex功能。 redis.breakpoint and redis.debugRedis Lua调试器上下文中的函数。 不可以使用全局变量，如果使用会报错。 一定要用，要使...
Nodejs学习笔记（九）--- 与Redis的交互（mranney/node_redis）入门
dbow21397的博客
02-04 843
目录 简介和安装 redis简介 redis安装 redis运行 node_redis安装 连接到redis服务器redis.createClient() 认证 client.auth(password, callback) 单值set和get client.set(key,value,[callback]) client.get(ke...
图数据库查询与操作指南-以Nebula图数据库为例
最新发布
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
07-26 303
图数据库查询与操作指南-以Nebula图数据库为例
nodejs redis
08-12
Redis是一种数据库，它更像是一台结构化的数据服务器。与MySQL和MongoDB不同，Redis是通过键来访问数据的。在Redis中，可以将数据存储为键值对，类似于JavaScript对象的方式。例如，可以使用以下语法来存储和访问...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值