读《神经网络与机器学习(原书第三版)》有感

    首先本书的翻译是真的有问题，很多地方是含混过关，意义很不明确，不少地方甚至直接是错误的翻译，因此如果真有想法，有英语基础，最好是阅读原版教材，至少也要中英对照着看。
    请诸君看如下简单的翻译错误（真让人无语）：

Much of the theory developed on RBF networks builds on the Gaussian function,
an important member of the class of radial-basis functions. 

    造成翻译问题的原因，一方面是译者能力，我感觉更大的原因是原书确实知识面实在太广，原书作者本身也是通信，控制理论大家，所以本书包括了不少物理知识（热力学、布朗运动、统计物理、模拟电路知识），控制理论，生物神经学，信息论，最优化理论知识，导致单一领域的国内专家翻译起来显得很生硬，并且很多术语相比于现在深度学习流行后也是不同的，就比如recurrent neural network现在一搬叫循环神经网络，以前叫统叫递归神经网络。
    回到本书，主要讲述从20世纪中期感知机到20世纪末神经网络的知识，优点很多，理论丰富，旁征博引，对于整个神经网络发展历史，各种网络的起源背景，网络推导过程，学习算法大多都写得很明白。各章脉络大体都是先写背景理论知识，再介绍网络，再写网络应用，最后再辅以更高深得理论收尾，都是比较统一的，按照作者的思路学习理解都会有收获。像介绍ICA那一章，从信息论入手，从多个角度推导ICA，并描述他们之间相互关系，国内教材恐难望其项背吧。再想想国内自己编的神经网络教材套路，更像是暴力填鸭式书籍，直接给你一个网络，再给你定义，给你证明，给你一个例题，没了，看完除了当时能做一两个例题基本收获不了啥（当然对于快速应用，也许国内教材也不错，但想真心搞懂神经网络，丰富理论框架，还显得太单薄）。对比起来，本书价值和品味高得真不止一个等级，当然也需要花费更多时间才能读懂。
    然后说下，个人感觉本书的一些缺点，一是有些地方的理论推导并不是很好理解，也过于简省，像MCMC方法，吉布斯采样，以及kalman滤波单看教材比较难理解（可能个人理解力有限.）可能这些也不是本书重点。然后是RNN部分没有提LSTM，如此经典重要的网络97年的论文，本书不应该忽略。
    从8月份陆陆续续看到现在，前后看了4个月，里面很多知识还是没读懂，也还没看完，不过现在倒是有个体会，神经网络确实是个杂交学科，其他的不多说，看看搞他们的人，Hinton是心理学出生，Hopfield是物理学家，Yann Lecun是本科是学电气工程的，本书作者也是通信专家，人工神经网络本就不是只属于一个学科吧，所以不应该只有搞CS的才算是DL,ML科班出身(题外话)。总之，本书原版值得多看，里面的推导值得合着书后自己推导，包括里面介绍的各种网络的思想，怎么模拟生物神经学，怎么从统计物理中发展出来的，都值得细细品味。特别对于做研究的同志们，我相信能从里面得到启发。