all23333333的博客

除了叶子的设计外，这些方法与有确定叶的神经决策树几乎没有差异。即它的叶节点是专家而不是偏执狂。如此微小的一个变化却极大地影响了模型的性能和可解释性。因为它们对网络结构施加了很少的约束，并在叶子处执行任意预测，这导致了决策树缺乏类层次结构的实现，以及每个节点被分配到了很模糊的任务。由于这一类神经决策树除了叶子以外没有太特别的地方，我们选取了有表征学习和架构搜索的两个工作作为例子。.........

这些方法选择使用一个大的神经网络来捕获特征空间中的所有区域，而不像数据驱动的架构那样在每个树节点上使用小型神经网络。它们使用预定义的结构，并进行全局优化来训练树。对于叶子预言家，它们要么直接选择一个类（由一些先验知识预定义好），要么学习一个one-hot或接近one-hot的类分布（这样它也可以在很大程度上表示一个类）。叶子这样设计是为了隐式地诱导出类层次结构。......

这些方法在树的生长模式上接近传统决策树。它们都是数据驱动的、递归生长的，叶子标签都是由落在其中的样本决定。如果发生分裂(决策分支)，则在输入空间上按照某一准则定义决策函数来决定样本的下一步行走的方向。和传统决策树随机创建一个无参数的分裂函数池来实现决策不同的是，这些方法采用小型神经网络来实现参数化的分裂函数。这些方法的关键是在决策树的内部节点中使用小型神经网络，从而能够提取复杂的非线性特征。它们的目的是减少决策树的大小和错误率，特别是对于需要高度非线性决策边界的复杂分类问题。.........

神经网络和决策树都是流行的机器学习模型，而且分别是连接主义和符号主义的出色代表，但它们有着很大程度上相互排斥的优势和局限性。它们之间的区别主要在于所学知识的形式。通常，前者学习层次表示，得到了更好的性能，但由于黑盒特性难以解释。而后者学习层次聚类，可以实现快速和可解释的推理，但缺乏准确性和泛化性。为了结合两者的优点，人们提出了各种方法来显式或隐式地结合这两种模型。............

目录一、前言二、个人背景三、我的大三四、夏令营五、预推免六、给想来浙大软件同学的话七、给想保研的川大计院同学的话八、给自己的话一、前言过去的一年是相当痛苦的一年。一年前我的情况：才转专业学习了一年，由于补课学分爆表，每学期40+的必修学分，自己没基础听不懂又不太求上进，学分质量就很一般。那一学年我0社会0科研，别人拉我参加互联网+，我不知道是什么东西，以为和互联网相关，就说：“不好意思我还没学过web编程”，别人只是尴尬地笑了笑。所以我成绩普通，0社会0科研，综测排名20/38，而保研名额只有6