再讲IQueryable<T>，揭开表达式树的神秘面纱

最新推荐文章于 2023-09-24 00:01:25 发布
最新推荐文章于 2023-09-24 00:01:25 发布
阅读量172 收藏 1
点赞数
文章标签： c# 数据库 数据结构与算法

接上篇《先说IEnumerable，我们每天用的foreach你真的懂它吗？》

最近园子里定制自己的orm那是一个风生水起，感觉不整个自己的orm都不好意思继续混博客园了（开个玩笑）。那么在此之前我们有必要仔细了解下 IQueryable<T> ，于是就有了此文。

什么是树？

什么是树？这个问题好像有点白痴。树不就是树嘛。看图：

我们从最下面的主干开始往上看，主枝-分支-分支....可以说是无限分支下去。我们倒过来看就是这样：

平时我们用得最多的树结构数据就是XML了，节点下面可以无限添加子节点。我们想想平时还用过什么树结构数据，比如：菜单无限分级、评论区的楼层。

这和我们今天讲的有毛关系啊。... 我们今天主要就是来分析表达式树的。、

lambda表达式和表达式树的区别：

Lambda表达式：

Func<Student, bool> func = t => t.Name == "农码一生";

表达式树： 

Expression<Func<Student, bool>> expression = t => t.Name == "农码一生";

 咋一看，没啥区别啊。表达式只是用Expression包了一下而已。那你错了，这只是Microsoft给我们展示的障眼法，我们看编译后的C#代码：

第一个lambda表达式编译成了匿名函数，第二个表达式树编译成一了一堆我们不认识的东西，远比我们原来写的lambda复杂得多。

结论：

  • 我们平时使用的表达式树，是编写的lambda表达式然后编译成的表达式树，也就是说平时一般情况使用的表达式树都是编译器帮我们完成的。（当然，我们可以可以手动的主动的去创表达式树。只是太麻烦，不是必要情况没有谁愿意去干这个苦活呢）

我们来看看表达式树到底有什么神奇的地方：

有没有看出点感觉来？Body里面有Right、Left，Right里面又有Right、Left，它们的类型都是继承自 Expression 。这种节点下面有节点，可以无限附加下去的数据结构我们称为树结构数据。也就是我们的表达式树。

补：上面的 Student 实体类：

public class Student
{
    public string Name { get; set; }

    public int Age { get; set; }

    public string Address { get; set; }

    public string Sex { get; set; }
}
View Code

解析表达式树

上面我们看到了所谓的表达式树，其他也没有想象的那么复杂嘛。不就是一个树结构数据嘛。如果我们要实现自己的orm，免不了要解析表达式树。一般说到解析树结构数据都会用到递归算法。下面我们开始解析表达式树。

先定义解析方法：

//表达式解析
public static class AnalysisExpression
{
    public static void VisitExpression(Expression expression)
    {
        switch (expression.NodeType)
        {
            case ExpressionType.Call://执行方法
                MethodCallExpression method = expression as MethodCallExpression;
                Console.WriteLine("方法名:" + method.Method.Name);
                for (int i = 0; i < method.Arguments.Count; i++)
                    VisitExpression(method.Arguments[i]);
                break;
            case ExpressionType.Lambda://lambda表达式
                LambdaExpression lambda = expression as LambdaExpression;
                VisitExpression(lambda.Body);
                break;
            case ExpressionType.Equal://相等比较
            case ExpressionType.AndAlso://and条件运算
                BinaryExpression binary = expression as BinaryExpression;
                Console.WriteLine("运算符:" + expression.NodeType.ToString());
                VisitExpression(binary.Left);
                VisitExpression(binary.Right);
                break;
            case ExpressionType.Constant://常量值
                ConstantExpression constant = expression as ConstantExpression;
                Console.WriteLine("常量值:" + constant.Value.ToString());
                break;
            case ExpressionType.MemberAccess:
                MemberExpression Member = expression as MemberExpression;
                Console.WriteLine("字段名称:{0}，类型:{1}", Member.Member.Name, Member.Type.ToString());
                break;
            default:
                Console.Write("UnKnow");
                break;
        }
    }

}

调用解析方法：

Expression<Func<Student, bool>> expression = t => t.Name == "农码一生" && t.Sex == "男";
AnalysisExpression.VisitExpression(expression);

我们来看看执行过程：

一层一层的往子节点递归，直到遍历完所有的节点。最后打印效果如下：

基本上我们想要的元素和值都取到了，接着怎么组装就看你自己的心情了。是拼成sql，还是生成url，请随意！

实现自己的IQueryable<T>、IQueryProvider

仅仅解析了表达式树就可以捣鼓自己的orm了？不行，起码也要基于 IQueryable<T> 接口来编码吧。

接着我们自定义个类 MyQueryable<T> 继承接口 IQueryable<T> ：

 public class MyQueryable<T> : IQueryable<T>
 {
     public IEnumerator<T> GetEnumerator()
     {
         throw new NotImplementedException();
     }
     IEnumerator IEnumerable.GetEnumerator()
     {
         throw new NotImplementedException();
     }
     public Type ElementType
     {
         get { throw new NotImplementedException(); }
     }
     public Expression Expression
     {
         get { throw new NotImplementedException(); }
     }
     public IQueryProvider Provider
     {
         get { throw new NotImplementedException(); }
     }
 }

我们看到其中有个接口属性 IQueryProvider ，这个接口的作用大着呢，主要作用是在执行查询操作符的时候重新创建 IQueryable<T> 并且最后遍历的时候执行sql远程取值。我们还看见了 Expression  属性。

现在我们明白了 IQueryable<T> 和 Expression （表达式树）的关系了吧：

  •  IQueryable<T> 最主要的作用就是用来存储 Expression（表达式树）

下面我们也自定义现实了 IQueryProvider 接口的类 MyQueryProvider ：

public class MyQueryProvider : IQueryProvider
{
    public IQueryable<TElement> CreateQuery<TElement>(Expression expression)
    {
        throw new NotImplementedException();
    }
    public IQueryable CreateQuery(Expression expression)
    {
        throw new NotImplementedException();
    }
    public TResult Execute<TResult>(Expression expression)
    {
        throw new NotImplementedException();
    }
    public object Execute(Expression expression)
    {
        throw new NotImplementedException();
    }
}

上面全是自动生成的伪代码，下面我们来填充具体的实现：

    public class MyQueryProvider : IQueryProvider
    {
        public IQueryable<TElement> CreateQuery<TElement>(Expression expression)
        {
            return new MyQueryable<TElement>(expression);
        }

        public IQueryable CreateQuery(Expression expression)
        {
            throw new NotImplementedException();
        }

        public TResult Execute<TResult>(Expression expression)
        {
            return default(TResult);
        }

        public object Execute(Expression expression)
        {
            return new List<object>();
        } 
    }  
    public class MyQueryable<T> : IQueryable<T>
    {
        public MyQueryable()
        {
            _provider = new MyQueryProvider();
            _expression = Expression.Constant(this);
        }

        public MyQueryable(Expression expression)
        {
            _provider = new MyQueryProvider();
            _expression = expression;
        }
        public Type ElementType
        {
            get { return typeof(T); }
        }

        private Expression _expression;
        public Expression Expression
        {
            get { return _expression; }
        }

        private IQueryProvider _provider;
        public IQueryProvider Provider
        {
            get { return _provider; }
        }

        public IEnumerator GetEnumerator()
        {
            return (Provider.Execute(Expression) as IEnumerable).GetEnumerator();
        }

        IEnumerator<T> IEnumerable<T>.GetEnumerator()
        {
            var result = _provider.Execute<List<T>>(_expression);
            if (result == null)
                yield break;
            foreach (var item in result)
            {
                yield return item;
            }
        }
    }
View Code

执行代码：

 var aa = new MyQueryable<Student>();
 var bb = aa.Where(t => t.Name == "农码一生");
 var cc = bb.Where(t => t.Sex == "男");
 var dd = cc.AsEnumerable();
 var ee = cc.ToList();

接着我们看看执行过程：

结论：

  • 每次在执行 Where 查询操作符的时候 IQueryProvider 会为我们创建一个新的 IQueryable<T> 
  • 调用 AsEnumerable() 方法的时候并不会去实际取值（只是得到一个IEnumerable）[注意：在EF里面查询不要先取IEnumerable后滤筛，因为AsEnumerable()会生成查询全表的sql]
  • 执行 ToList() 方法时才去真正调用迭代器 GetEnumerator() 取值
  • 真正取值的时候，会去执行 IQueryProvider 中的 Execute 方法。（就是在调用这个方法的时候解析表达式数，然后执行取得结果）

我们看到真正应该办实事的 Execute  我们却让他返回默认值了。

现在估计有人不爽了，你到是具体实现下 Execute 。好吧！（其实通过上面说的解析表达式树，你可以自己在这里做想做的任何事了。）

首先为了简单起见，我们用一个集合做为数据源：

//构造Student数组
public static List<Student> StudentArrary = new List<Student>()
{
        new Student(){Name="农码一生", Age=26, Sex="男", Address="长沙"},
        new Student(){Name="小明", Age=23, Sex="男", Address="岳阳"},
        new Student(){Name="嗨-妹子", Age=25, Sex="女", Address="四川"}
};

然后，重新写一个VisitExpression2方法：（和之前的区别： 现在目的是取表达式树中的表达式，而不是重新组装成sql或别的）

public static void VisitExpression2(Expression expression, ref List<LambdaExpression> lambdaOut)
{
    if (lambdaOut == null)
        lambdaOut = new List<LambdaExpression>();
    switch (expression.NodeType)
    {
        case ExpressionType.Call://执行方法
            MethodCallExpression method = expression as MethodCallExpression;
            Console.WriteLine("方法名:" + method.Method.Name);
            for (int i = 0; i < method.Arguments.Count; i++)
                VisitExpression2(method.Arguments[i], ref  lambdaOut);
            break;
        case ExpressionType.Lambda://lambda表达式
            LambdaExpression lambda = expression as LambdaExpression;
            lambdaOut.Add(lambda);
            VisitExpression2(lambda.Body, ref  lambdaOut);
            break;
        case ExpressionType.Equal://相等比较
        case ExpressionType.AndAlso://and条件运算
            BinaryExpression binary = expression as BinaryExpression;
            Console.WriteLine("运算符:" + expression.NodeType.ToString());
            VisitExpression2(binary.Left, ref  lambdaOut);
            VisitExpression2(binary.Right, ref  lambdaOut);
            break;
        case ExpressionType.Constant://常量值
            ConstantExpression constant = expression as ConstantExpression;
            Console.WriteLine("常量值:" + constant.Value.ToString());
            break;
        case ExpressionType.MemberAccess:
            MemberExpression Member = expression as MemberExpression;
            Console.WriteLine("字段名称:{0}，类型:{1}", Member.Member.Name, Member.Type.ToString());
            break;
        case ExpressionType.Quote:
            UnaryExpression Unary = expression as UnaryExpression;
            VisitExpression2(Unary.Operand, ref  lambdaOut);
            break;
        default:
            Console.Write("UnKnow");
            break;
    }
}

然后重新实现方法 Execute ：

public TResult Execute<TResult>(Expression expression)
{
    List<LambdaExpression> lambda = null;
    AnalysisExpression.VisitExpression2(expression, ref lambda);//解析取得表达式数中的表达式
    IEnumerable<Student> enumerable = null;
    for (int i = 0; i < lambda.Count; i++)
    {
        //把LambdaExpression转成Expression<Func<Student, bool>>类型
        //通过方法Compile()转成委托方法
        Func<Student, bool> func = (lambda[i] as Expression<Func<Student, bool>>).Compile(); 
        if (enumerable == null)
            enumerable = Program.StudentArrary.Where(func);//取得IEnumerable
        else
            enumerable = enumerable.Where(func);
    }
    dynamic obj = enumerable.ToList();//（注意：这个方法的整个处理过程，你可以换成解析sql执行数据库查询，或者生成url然后请求获取数据。）
    return (TResult)obj;
}

执行过程：

个人对 IQueryable 延迟加载的理解：

  • 前段部分的查询操作符只是把逻辑分解存入表达式树，并没有远程执行sql。
  • foreache执行的是 IEnumerable<T> ，然而 IEnumerable<T> 同样具有延迟加载的特性。每次迭代的时候才真正的取数据。且在使用导航属性的时候会再次查询数据库。(下次说延迟加载不要忘记了 IEnumerable 的功劳哦！)

小知识：

表达式树转成Lambda表达式：

Expression<Func<Student, bool>> expression = t => t.Name == "农码一生";
Func<Student, bool> func = expression.Compile();

总结：

表达式树的分析就告一段落了，其中还有很多细节或重要的没有分析到。下次有新的心得再来总结。

感觉表达式树就是先把表达式打散存在树结构里（一般打散的过程是编译器完成），然后可以根据不同的数据源或接口重新组装成自己想要的任何形式，这也让我们实现自己的orm成为了可能。

今天主要是对表达式树的解析、和实现自己的IQueryable<T>、IQueryProvider做了一个记录和总结，其中不定有错误的结论或说法，轻点拍！

demo下载：http://pan.baidu.com/s/1nvAksgL 

本文以同步至索引目录：《C#基础知识巩固》

 

推荐阅读：

http://www.cnblogs.com/jesse2013/p/expressiontree-part1.html

http://www.cnblogs.com/jesse2013/p/expressiontree-part2.html

http://www.cnblogs.com/jesse2013/p/expressiontree-Linq-to-cnblogs.html

园友@风口上的猪推荐：

http://www.cnblogs.com/Ninputer/archive/2009/09/08/expression_tree3.html
http://blog.zhaojie.me/2009/03/expression-cache-1.html

 

weixin_34204722
关注
C# IQueryable 的动态添加 OrderBy
12-11
自动添加 OrderBy 或者 ThenBy，只要一直调用 OrderIf 扩展函数就行。 扩展函数中将自动判断 传入的 IQueryable 是否有调用过 OrderBy 函数。
C#根据日期范围过滤IQueryable<T>集合
weixin_34235135的博客
01-14 514
  需要扩展IQueryable&lt;T&gt;，参数包括一个DateTime类型的属性、开始日期、截止日期。   public static class MyExtension { public static IQueryable&lt;T&gt; WhereDateRange&lt;T&gt;(this IQueryable&lt;T&gt; s...
编写高质量代码改善C#程序的157个建议——建议29：区别LINQ查询中的IEnumerable<T>和IQueryable<T>...
weixin_30908707的博客
08-14 188
建议29：区别LINQ查询中的IEnumerable<T>和IQueryable<T> LINQ查询一共提供了两类扩展方法，在System.Linq命名空间下，有两个静态类：Enumerable类，它针对继承了IEnumerable<T>接口的集合进行扩展；Queryable类，它针对继承了IQueryable<T>接口的集合类进行扩扎。接口IQu...
IEnumerable<T>和IQueryable<T>
weixin_30587025的博客
07-16 147
建议29、区别LINQ查询中的IEnumerable<T>和IQueryable<T> LINQ查询方法一共提供了两类扩展方法，在System.Linq命名空间下，有两个静态类： 　　　　Enumerable类，它针对继承了IEnumerable<T>接口的集合类进行扩展。 　　　　Queryable类，它针对继承了IQueryable<T&g...
Add Expression to IQueryable
daimeisi123的专栏
11-16 667
public static IQueryable SortBy(this IQueryable source, string propertyName, bool desc = false) { ParameterExpression parameter = Expression.Parameter(source.ElementType, String.Em
C#3.0 LINQ查询详解：IQueryable<T>接口的作用
其次，由于查询表达式被转换为表达式树，因此可以支持多种数据源，如数据库、XML文档或内存中的集合，因为不同的数据源可以提供对应的IQueryable<T>实现。 此外，IQueryable<T>接口与Lambda表达式和扩展方法紧密...
public IQueryable<TEntity> IQueryable<TEntity>() where TEntity : class
05-18
这是一个泛型方法，定义了一个返回 IQueryable<TEntity> 接口的方法。在这个方法中，TEntity 表示实体类型参数，必须是一个 class 类型。这个方法可以用于获取实体类型的查询，以支持 LINQ 查询和延迟加载。使用 ...
public interface IQueryable<out T> : IEnumerable<T>, IEnumerable, IQueryable{}
最新发布
09-24
这个代码片段定义了一个名为`IQueryable<T>`的公共接口，在.NET框架特别是 Entity Framework 中非常常见。它是一个泛型接口，表示一个可以查询的数据源，其中`T`是查询结果的类型，并且是泛型的`out`参数，意味着它...
IQueryable<TEntity> IQueryable(Expression<Func<TEntity, bool>> predicate);
05-18
这是一个定义在泛型类型 `IQueryable<TEntity>` 上的方法，它接受一个 `Expression<Func<TEntity, bool>>` 类型的参数 `predicate`，并返回一个 `IQueryable<TEntity>` 类型的对象。 这个方法可以用于在 `...
.NET 表达式树
weixin_68436326的博客
09-24 78
IQueryable/IQueryable 和表达式树IQueryable有两个组件Expression：当前查询的组件的与语言和数据源无关的表示形式，以表达式树的形式表示。Provider：LINQ 提供程序的实例，它知道如何将当前查询具体化为一个值或一组值。在动态查询的上下文中，提供程序通常会保持不变；查询的表达式树将因查询而异。达式树是不可变的；如果需要不同的表达式树并因此需要不同的查询，则...
向 API层 提供各个实体的数据查询的 IQueryable<T> 类型的数据源
li123128的博客
05-11 825
OSharpNS全称OSharp Framework with .NetStandard2.0，是一个基于.NetStandard2.0开发的一个.NetCore快速开发框架。这个框架使用最新稳定版的.NetCore SDK（当前是.NET Core 2.2），对 AspNetCore 的配置、依赖注入、日志、缓存、实体框架、Mvc(WebApi)、身份认证、权限授权等模块进行更高一级的自动化封装...
IQueryable查询器扩展Expression动态排序
weixin_40779637的博客
10-13 671
IQueryable查询器扩展Expression动态排序 /// <summary> /// 获取分页排序列表 /// </summary> /// <typeparam name="T"></typeparam> /// <param name="queryable">查询器</param> /// <param name="PageIndex">当前页</param
IQueryable<T>和IEnumerable<T>的区别
In me the tiger sniffs the rose
01-07 1354
IQueryable和IEnumerable的区别 　　IQueryable（IEnumerable的一个子接口）。LINQ to SQL 提供程序实现 IQueryable 接口，用于查询关系数据存储。C# 和 Visual Basic 编译器会将针对此类数据源的查询编译为代码，该代码在运行时将生成一个表达式目录树。然后，查询提供程序可以遍历表达式目录树数据结构，并将其转换为适合于
IQueryable<T>和IEnumerable<T>的区别、EF优化
眼睛眯起来的博客
03-04 3995
刚学习EF框架发现查询数据库的返回值类型有些特别、不一样。 Linq和Where的返回值类型都为IQueryable和IEnumerable。 那他们的区别在哪里呢？ 开始百度 于是就找到了这遍帖子。 https://blog.csdn.net/ydm19891101/article/details/50969323 由于原帖篇幅较长，这里做个简单总结。 Queryable类: private v...
写一个针对IQueryable<T>的扩展方法支持动态排序
weixin_34151004的博客
01-08 1072
  所谓的动态排序是指支持任意字段、任意升序降序的排序。我们希望在客户端按如下格式写：localhost:8000/api/items?sort=titlelocalhost:8000/api/items?sort=name,titlelocalhost:8000/api/items?sort=-name,title字段前面加-表示降序，否则是升序。接下来要做的就是解析查询字符串中的字段，组成排...
NET问答：如何理解 IEnumerable<T> 和 IQueryable<T>
dotNET跨平台
03-24 229
咨询区 stackoverflowuser：请问类型 IQueryable<T> 和 IEnumerable<T> 有什么异同？我应该使用哪一个而不是另一个，代码...
数据结构学习笔记--二叉表达式树
timercrack的专栏
11-08 7459
 终于到谈到树了，可以说数据结构最精彩的算法都出自这里(但不是最复杂的，后面还有图..)。接下来的2篇文章会介绍有关树的一些操作和应用。树的两个基本用途，可以用物质和精神来比喻。一个用途是做为数据储存，储存具有树结构的数据——目录、族谱等等。为了在实际上是线性的储存载体上（内存、磁盘）储存非线性的树结构，必须有标志指示出树的结构。因此，只要能区分根和子树，树可以采取各种方法来储存——多
C# 数据操作系列 - 16 SqlSugar 完结篇
菜鸡成长日记
05-26 8695
0. 前言 前一篇我们详细的介绍了SqlSugar的增删改查，那些已经满足我们在日常工程开发中的使用了。但是还有一点点在开发中并不常用，但是却非常有用的方法。接下来让我们一起来看看还有哪些有意思的内容。 1. 不同寻常的查询 之前介绍了针对单个表的查询，同样也是相对简单的查询模式。虽然开发完全够用，但是难免会遇到一些特殊的情况。而下面这些方法就是为了解决这些意料之外。 1.1 多表查询 SqlSugar提供了一种特殊的多表查询方案，使用IQueryable接口 。来看看是怎样操作的吧： ISugarQuer
net core Webapi基础工程搭建（六）——数据库操作_Part 1
AprilBlank的博客
07-18 925
前言 后端开发最常打交道的就是数据库了（静态网站靠边），上一篇net core Webapi基础工程搭建（五）——缓存机制，缓存就是为了减少数据库的读操作，不过什么访问都是会耗时的，拿空间（内存）换时间对用户体验来说是惯用手段，后续介绍界面操作的时候再说用户体验。 SqlSugar 当然你可以用EF（太重，扩展性相对差，但不可否认基本上涵盖范围够广），也可以用Dapper（这个我之前头一回鼓捣ne...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值