(2)端口的扫描,nc可以作为client发起TCP或UDP连接
(3)机器之间传输文件
(4)机器之间网络测速
采用pipe模式导入数据
然而,使用nc监听并不是一个非常可靠的方式来执行大规模的数据导入,因为netcat并不真正知道何时传输了所有数据,也无法检查错误。在2.6或更高版本的Redis中,Redis -cli脚本支持一种称为pipe管道模式的新模式,这种模式是为了执行大规模插入而设计的。
使用管道模式的命令运行如下:
由上图,可以看到pipe命令的返回结果,txt文件中有多少行命令,返回的replies数就是多少,
errors表示其中执行错误的命令条数。
redis协议学习
协议的格式为:
*<参数数量> \r\n
$<参数 1 的字节数量> \r\n
<参数 1 的数据> \r\n
…
$<参数 N 的字节数量> \r\n
<参数 N 的数据> \r\n
比如:
插入一条hash类型的数据。
HSET id book1 book_description1
根据Redis协议,总共有4个部分,所以开头为*4,其余内容解释如下:
| 内容 | 长度 | 协议命令 |
| — | — | — |
| HSET | 4 | $4 |
| id | 2 | $2 |
| book1 | 5 | $5 |
| book_description1 | 17 | $17 |
注意一下:HSET命令本身也作为协议的其中一个参数来发送。
构造出来的协议数据结构:
*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n
格式化一下:
*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\n
RESP协议 bulk
Redis客户机使用一种称为RESP (Redis序列化协议)的协议与Redis服务器通信。
redis-cli pipe模式需要和nc命令一样快,并且解决了nc命令不知道何时命令结束的问题。
在发送数据的同时,它同样会去读取响应,尝试去解析。
一旦输入流中没有读取到更多的数据之后,它就会发送一个特殊的20比特的echo命令,标识最后一个命令已经发送完毕
如果在响应结果中匹配到这个相同数据后,说明本次批量发送是成功的。
使用这个技巧,我们不需要解析发送给服务器的协议来了解我们发送了多少命令,只需要解析应答即可。
在解析应答时,redis会对解析的应答进行一个计数,在最后能够告诉用户大量插入会话向服务器传输的命令的数量。也就是上面我们使用pipe模式实际操作的响应结果。
将输入数据源换成mysql
上面的例子中,我们以一个txt文本为输入数据源,使用了pipe模式导入数据。
基于上述协议的学习和理解,我们只需要将mysql中的数据按照既定的协议通过pipe模式导入Redis即可。
实际案例–从Mysql导入百万级数据到Redis
首先造数据
由于环境限制,所以这里没有用真实数据来实现导入,那么我们就先使用一个存储过程来造一百万条数据把。使用存储过程如下:
DELIMITER $$
USE cb_mon
$$
DROP PROCEDURE IF EXISTS test_insert
$$
CREATE DEFINER=root
@%
PROCEDURE test_insert
()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<= 1000000
DO
INSERT INTO t_book(id,number,NAME,descrition)
VALUES (i, CONCAT(“00000”,i) , CONCAT(‘book’,i)
, CONCAT(‘book_description’,i));
SET i=i+1;
END WHILE ;
COMMIT;
END$$
DELIMITER ;
调用存储过程:
CALL test_insert();
查看表数据:
按协议构造查询语句
按照上述redis协议,我们使用如下sql来构造协议数据
SELECT
CONCAT(
“*4\r\n”,
“$”,
LENGTH(redis_cmd),
“\r\n”,
redis_cmd,
“\r\n”,
“$”,
LENGTH(redis_key),
“\r\n”,
redis_key,
“\r\n”,
“$”,
LENGTH(hkey),
“\r\n”,
hkey,
“\r\n”,
“$”,
LENGTH(hval),
“\r\n”,
hval,
“\r”
)
FROM
(SELECT
“HSET” AS redis_cmd,
id AS redis_key,
NAME AS hkey,
descrition AS hval
FROM
cb_mon.t_book
) AS t limit 1000000
并将内容保存至redis.sql 文件中。
编写脚本使用pipe模式导入redis
最后
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
[外链图片转存中…(img-5jKu0Sja-1715545930478)]
[外链图片转存中…(img-AIx2CfKl-1715545930479)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!