redis入门(10): redis管道技术（对比redis事务）

试验环境：

• centos7.6x64位，CentOS-7-x86_64-Minimal-1810.iso

  百度网盘下载地址：https://pan.baidu.com/s/1ckjQS_DGuI-7GGvmvhLNKQ 提取码: 6gfc
  linux的安装参照：centos7.6最小化安装

• redis-5.0.5.tar.gz

  官网下载地址：http://download.redis.io/releases/redis-5.0.5.tar.gz
  百度网盘下载地址：https://pan.baidu.com/s/1ipnB043h5Tvk7cYGKxSr8g 提取码: bdkh

参照：

• redis-cli 通过管道 --pipe 快速导入数据到redis中
• 多图解析，让Redis提高数倍性能的Redis管道，是这么一回事
• redis学习笔记 - Pipeline与事务
• redis入门(4)：redis事务（细节探索）

实验环境说明：
文章发布后被修改过，所以图片上的ip等可能不一致。（最开始redis5+centos7，后来的是centos8+redis6）

一、管道概念

为什么要有redis管道？

redis本身处理速度很快，但是如果你连续调用10条redis命令，它们要有10个网络来回，这速度就会降下来了，那么有没有办法把这10条命令一起发送到服务端呢？有，它就是redis管道

redis管道的本质是什么？

redis管道的本质是将要发往redis服务端执行的命令在客户端缓存起来，比如说缓存100条，然后你可以将这100条命令一起发送到redis服务端，从而将100个网络来回降低到1个来回，大大降低了网络开销，提升了性能。

redis管道特点是什么？

上面说了为什么有管道，以及管道的本质，那么管道有什么特点呢？

• 客户端实现的技术，服务端稍微配合一下即可（读取批量命令执行，每条命令执行完后进行缓存，全部执行完后再一次性返回）。
• 优点是大大减少了网络请求次数，提高了性能
• 注意：由于执行结果是批量返回的，所以管道中的命令不宜太多，否则redis服务端的缓存压力将会变大，进而影响性能。
• 注意：管道中的命令适合彼此没有关联的命令，如果一个命令的执行依赖上次执行的结果，那就不要用管道了。

二、在redis-cli环境下使用管道技术批量插入数据

• 首先，准备批量命令文件redis-pipe-test.txt

  set name1 xiaoming1
  set name2 xiaoming2
  set name3 xiaoming3
  set name4 xiaoming4
  set name5 xiaoming5
  set name6 xiaoming6
  set name7 小明
  set name 小红
  

• 将redis-pipe-test.txt拷贝到redis的bin目录下
  
• 启动redis服务
• 执行命令cat redis-pipe-test.txt | ./redis-cli -h 192.168.0.100 -p 6500 --pipe

[root@localhost bin]# ./redis-cli -h 192.168.0.100 -p 6500
192.168.0.100:6500> keys *
(empty list or set)
192.168.0.100:6500> quit
[root@localhost bin]# cat redis-pipe-test.txt | ./redis-cli -h 192.168.0.100 -p 6500 --pipe
All data transferred. Waiting for the last reply...
Last reply received from server.
errors: 0, replies: 8
[root@localhost bin]# ./redis-cli -h 192.168.0.100 -p 6500
192.168.0.100:6500> keys *
1) "name6"
2) "name4"
3) "name2"
4) "name"
5) "name3"
6) "name5"
7) "name7"
8) "name1"
192.168.0.100:6500> get name1
"xiaoming1"
192.168.0.100:6500> get name
"\xe5\xb0\x8f\xe7\xba\xa2"
192.168.0.100:6500> 

三、c#中使用管道和redis通信

引入csredis：

编写代码：
下面的代码，实际上是做了一个实验：验证redis管道中的命令是否会被其他的命令插入：

using CSRedis;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            var redis = new CSRedis.CSRedisClient("192.168.3.42:6500,password=123456,defaultDatabase=0,poolsize=500,ssl=false,writeBuffer=10240,prefix=test_");
            //定义开启管道的个数100个
            var count = 100;
            List<CSRedisClientPipe<string>> piples = new List<CSRedis.CSRedisClientPipe<string>>() ;
            for (int i = 0; i < count; i++)
            {
                piples.Add(redis.StartPipe());
            }
            //将10000个数子平均分配到100个管道中
            for(int i = 0; i < 10000; i++)
            {
                var index = i % count;
                var piple = piples[index];
                piple.Set("name", i);
                piple.Get("name");
            }
            //并发执行100个管道
            List<object[]> res = new List<Object[]>();
            var tasks = new List<Task>();
            for (int i = 0; i < count; i++)
            {
                var piple = piples[i];
                tasks.Add(Task.Factory.StartNew(() =>
                {
                    res.Add(piple.EndPipe());
                }));                
            }
            Task.WaitAll(tasks.ToArray());
            //检查管道中的命令是否会有交叉执行的情况
            for (int i = 0; i < count; i++)
            {
                var ret = res[i];
                var arr = new List<string>();
                var mod = -1;
                foreach (var item in ret)
                {
                    if (item.ToString() != "True")
                    {
                        var num=int.Parse(item.ToString())%count;
                        if (mod == -1) mod = num;
                        else
                        {
                            if (num != mod) File.WriteAllText("d:\\error.txt", $"发现了错误...mod={mod},num={num},i={i}\r\n");
                        }
                        arr.Add(item.ToString());
                    }
                }
                Console.WriteLine($"piple{i}: {string.Join(",", arr)}");
                File.WriteAllText($"d:\\piple{i}.txt", string.Join(",", arr));
            }
            Console.WriteLine("ok");
            Console.ReadLine();
        }
    }
}

可以看到，redis管道中的命令是没有被其他客户端的命令插入的（暂时这么认为，没有找到文档说明）。

四、管道和事务的异同点

先来看它们执行的流程图：
事务流程：

管道流程：

从上面可以看出如下：

• 事务里面的命令是在服务端缓存，当发出exec命令的时候，服务端就会判断并执行事务命令。
• 管道里面的命令是在客户端缓存，当客户端结束管道后一次发送到服务端，服务端读取后按照先后顺序先后执行。
• 不管是事务还是管道，服务端都需要缓存单个命令的执行结果，等全部执行完后再返回给客户端
• 事务和管道里的命令执行过程中都不能被其他的命令插入（事务的肯定不会打断，管道的暂时认为不会打断吧）
• 事务的命令指向前需要判断watch指定的值是否改变，如果改变了就不执行，而管道不会判断
• 事务里的命令如果有语法错误（比如：getset name，注意不是执行错误），会导致事务被丢弃，里面的命令都不会执行
• 而管道里的命令如果出现语法错误，依然不影响其他的命令执行

  这一点需要做实验证实，我们将上面批量导入的命令做如下改动
  
  然后，我们使用redis-cli进行测试：
  
  可以看到，管道中的命令彼此间并没有联系，也就不会发生一个语法错误导致整体被丢弃的事情了。。。