机器学习笔记

P NP
机器学习可以解决分类、回归、聚类几种问题，所使用工具方法包括线性模型、决策树、支持向量机、神经网络（非线性，相当于神经元中给线性函数外套了个激活函数）

线性回归模型

求解回归函数最优参数时可以用梯度下降法或最小二乘法，最小二乘找到是全局最优解，梯度下降找到的可能只是局部最优解

决策树模型

每个内部结点表示对哪个属性进行判断，叶节点表示最终预测结果，关键一个步骤是每个分支划分属性的选择，结合信息论知识，分别可以用信息增益，增益率，基尼指数三种方法选择属性
其中信息熵表示还需要多少信息就能判断当前集合是否纯净，也就是信息熵越小集合越纯净，信息增益相当于选择了某一个属性后，集合的信息熵发生变化（趋向于纯净），变化前后的差值相当于选择该属性为集合提供了多少信息，最后选择提供了最多信息的属性
但是如果只是为了使集合趋向于纯净，比如每个集合只有一个样本时一定是纯净的，这样的话直接选择比如学号等属性就会划分出许多分支，每个分支都是纯净的，但这样相当于过拟合了，为了使得既能选择出信息增益最多的属性，也要避免产生太多分支，通过增益率就可以

支持向量机模型

神经网络

MP神经元

一般的神经网络都是前馈神经网络，包括输入层、隐含层、输出层，万有逼近性表示仅需一个包含足够多神经元的隐含层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数
BP神经网络：backpropagation，反向传播就是基于梯度下降策略

深度学习

neuron可以采用logistic regression或sigmod function，如果采用多层神经网络，就需要考虑层间连接方式也就是FCN或CNN方式
有个问题，为什么要采用deep learning而不是fat learning（下图这样，因为按说一切神经网络都可以用一个包含足够多神经元的一级网络代替），也就是neural network为什么要往深的走而不是往宽的走