哈希核的分析《学习笔记》

哈希核的算法分析

  哈希函数因为可以将海量的维度空间压缩成低维空间，所以经常被使用在相关的算法种，我们熟悉的在同态加密算法中使用哈希函数对明文的公钥私钥加密，在我们熟悉的NLP中也有着大量应用，最典型的比如在搜索中，因为海量的文章作为数据来源，但是怎样利用搜词或者搜索语言从庞大的文章空间提取到相关的文章，这就需要一个空间维度降维的过程，也就是能将庞大的文章空间映射到一个有限类的空间，这样就会大大提到搜索速度，当然具体过程是复杂的，也就是需要哈希这个角色扮演一个重要的维度空间运算的作用。

哈希函数解释

  值得注意的是哈希函数是代表着能够实现维度空间降维的一类函数，并不是表示一个函数，所以哈希函数可以有多种多样的表达形式，这里依据NLP中的文本检索器实现算法为例来分析一个相关的哈希函数，定义如下：

其中式子（3）表示的是核函数，核函数所表示的结果是一个核矩阵，而且这个矩阵是一个半正定矩阵，意味着该矩阵所表示的空间是一个希尔伯特空间，该空间是一个线性正交且完备的空间，==希尔伯特空间是由若干个（可以是任意数量）独立坐标构成的抽象空间。量子力学里，就是本征矢构成的。==当然这个独立矢量就是哈希核函数所映射过来的了，因为构成空间的坐标可以是任意数量的，所以说白了就是通过哈希函数将我们所认识的任意维度空间映射到一个有限维度的希尔伯特空间中，在说白点就是将我们任意多个文章或者是不可数的文章可以通过哈希核函数映射到一个有限维度的空间中处理分类。值得去探讨的问题是如何将希尔伯特空间和NLP分类问题结合起来的呢？

哈希核分析：
  分析的首要步骤是计算哈希函数的所估计值的期望偏差和方差：
首先理想值和估计值之间关系：

所估计函数如下：

期望值如下：

方差如下：

论文引用有《A Universal Kernel for Learning Regular Languages》、《Hash Kernels》、《Feature Hashing for Large Scale Multitask Learning》