人类概念学习的复杂度 complexity of human concept learning

内容来自两篇论文：

Minimization of Boolean complexity in human concept learning 

The Simplicity Principle in Human Concept Learning

 

借助一篇博士论文《基于认知的文本语境生成和度量研究》内容，大致看懂了核心思想，下面摘抄一部分中文出来

 

       这篇2000年Nature杂志上发表的一篇认知科学方面的论文，题为“人类概念学习的布尔表达式复杂度的最小化”。

它首次通过化简布尔表达式来度量人类概念学习的复杂度。根据认知科学中对人类概念学习的研究，有一个简单而符合经验的规律：一个概念的主观难度正比于它的布尔表达式的复杂度。

 

一个布尔概念(boolean concept )的对象是由一些二元的特征组成，例如物体概念可以由两个布尔特征构成：体积(大、小)和形状(圆、方)。

一个概念的布尔表达式的复杂度就是与这个概念等价的最短布尔表达式的长度，通常长度就是变量的总个数（包含正反变量）。

为了方便书写我们用ab代替a∧b，a+b 代替a∨b，a’代替~a。例如，概念ab+ab’等于a(b+b’)，这样就等于a，所以有概念复杂度1；由于ab+a’b’没有更短的表达式，所以概念复杂度是4。

布尔表达式的复杂度实际上是一种内在数学复杂度的常用度量方法，也是概念的不可压缩性的体现。

 

       假设有一个概念包括n个特征和m个对象，这样一个概念可以表达为m个分离的n个特征联合的累加和，通常表示成一个分离的

析取范式（disjunctive normal formula，DNF）（析取范式...终于见到离散数学的东东...）。

因此，这样一个概念可以表达为一个包含m×n个变量的 DNF。DNF是一个完全没有压缩的形式；它逐个描述了符合概念的所有对象。 当用一些启发式的方法对DNF化简时，它的长度会减短。这些布尔表达式的复杂度的值可以预测主观的困难程度。

不同的启发式方法化简DNF能力也不一样，导致最后理解概念的复杂度不一样。同时不同DNF用不同方法得到化简效果也不一。

 

写到这我有想起了一篇只能看懂头尾的论文：On data mining, compression, and Kolmogorov complexity

它认为一般理解的数据挖掘其实等价于压缩和estimation Kolmogorov complexity ，这些都是undecided. 因此数据挖掘无法自动化，面对不同的数据，我们需要各式各样的算法。因此数据挖掘会是门艺术，寻找最适合模型的艺术.

 

作者在2006年发表了这两篇论文的扩展和详细论述，暂时还没研读完，有机会读完再和大家分享。