技术日志8.23初识认知科学的闲话

技术日志8.23初识认知科学后的闲话

因为我目前仅学习并编写过简单的神经网络，写的不对的地方希望大家指出。

今天抽空了解了一下认知科学，特别是人脑学习与机器学习相同的部分。在保罗·萨迦德的《心智：认知科学导论》中有“将神经元及其联结比作数据结构，而神经元的激活和激活扩散比作算法”的说法。这点符合数据结构与算法课上“数据结构是处理对象（本身也对方法做亿点限制或优化），算法是处理方法”的说法。

然而，这个比喻让我一时不能接受——在全连接神经网络中，我们调参时，如果某链接权值为零可以视作断开，但是我们似乎无法在非相邻的节点间创建相互独立连接，即不在训练中新建连接（至少孤陋寡闻的我目前没有见过）。

然而仔细一想，这可能是没有必要的。

先只考虑某一对节点，1->n->1这样的网络有无数种模拟1->1这样的直接连接的方式。而我们训练网络就是为了让参数们尽量模拟所有的节点对的理想的直接连接（的参数与阀值），而且只要n足够大就一定可以精确拟合。这个理论，对相隔多层的节点同样适用。
至于计算，对于一个输入输出都只有一实数的函数——连接，无论理想中的、允许使用复杂计算的最优解的函数多么变化多端，只要在定义域内（考虑样本有限时）内大多数时候可导，那么大多数时候它就可以用一阶泰勒展开来替代计算（权值=斜率，阀值=截距）。那么问题就变为训练是否使参数收敛了，这也是除噪的作用之一。
至于效率，全连接或局部全连接（例如cnn的最后的那部分）的结构在一开始就决定了算量，全是零也得花同样时间算一遍。所以额外建立最优化的直接连接反而增加工作量，速度不比网络——这个将【替代直连的最优化子方案们】叠加的结果。