拜读苏神-1-深度学习+文本情感分类

一、闲聊神经网络与深度学习

参考链接：https://www.kexue.fm/archives/3331

分类模型本质上是在做拟合——模型其实就是一个函数（或者一簇函数），里边有一些待定的参数，根据已有的数据，确定损失函数（最常见的损失函数，就是误差平方和，不清楚的读者，可以回忆最小二乘法的过程。），然后优化损失函数到尽可能小，从而求出待定参数值。求出参数值之后，就可以用这个函数去进行一些预测。这便是分类的基本思想了，至于防止过拟合之类的，属于细节问题，在此先不作讨论。
以上思想看上去简单，但是存在两个本质性的、难以解决的问题：1、函数的自变量是什么？2、这个函数是什么？换句话说，我怎么知道哪些东西（特征）对我想要的分类工作有帮助？其次，复杂的非线性的现象无处不在，找到这些特征后，我怎么知道用哪个函数去拟合它？事实上，这两个问题至今没有很好的答案。在深度学习出现以前，模型和特征的选取，基本都是人工选择的。换句话说，机器学习领域发展了几十年，却连两个本质性的问题都没有解决！

所谓自变量便是特征，选取哪些特征作为x，在深度学习之前都是人为设计；所谓函数是什么就是采取哪种算法进行拟合。

没错，神经网络就是通过多重复合函数来拟合的！而且是最简单的函数的符合——一个是线性函数；另外一个是最简单的非线性函数：二元函数θ(x)

<