神经网络入门笔记（一）

#一、思路
神经网络存在 合适的权重w和偏置b,以便拟合训练数据的过程 叫 学习。
##1.训练数据
从训练数据中提取部分数据（叫做mini-batch） 目的是->减小损失函数的值。
###mini-batch
mini-batch gradient decent，是小批的梯度下降数据，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来比较稳定，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量小，效率相对较高。
##2.计算梯度（高数知识）
为了减小mini-batch损失函数的值，求出各个权重参数的梯度（偏导）。
##3.更新参数
将权重参数沿着梯度方向进行微小更新。
##4.重复前三步
#二、明细
##1.损失函数的意义
损失函数可以很好得反映模型与实际数据差距的工具，理解损失函数能够更好得对后续优化工具（梯度下降等）进行分析与理解。损失函数的调整是关键。
##2.分类器
###分类器构造和实施的步骤
1.选定样本（包含正样本和负样本），将所有样本分成训练样本和测试样本两部分。
2.在训练样本上执行分类器算法，生成分类模型。
3.在测试样本上执行分类模型，生成预测结果。
4.根据预测结果，计算必要的评估指标，评估分类模型的性能。
###常见分类器类型
1.决策树分类器
　　提供一个属性集合，决策树通过在属性集的基础上作出一系列的决策，将数据分类。这个过程类似于通过一个人的特征来判断是哪个人。生成的分类器可用于对数据的分类。
2. 选择树分类器
　　选择树分类器使用与决策树分类器相似的技术对数据进行分类。与决策树不同的是，选择树中包含特殊的选择节点，选择节点有多个分支。
　　在决策树中，一个节点一次最多可以选取一个属性作为考虑对象。在选择树中进行分类时，可以综合考虑多种情况。选择树通常比决策树更准确，但是也大得多。选择树生成器使用与决策树生成器生成决策树同样的算法从训练集中生成选择树。MineSet 的可视化工具使用选择树图来显示选择树。树图可以帮助用户理解分类器，发现哪个属性在决定标签属性值时更重要。同样可以用于对数据进行分类。
　　3. 证据分类器
　　证据分类器通过检查在给定一个属性的基础上某个特定的结果发生的可能性（与条件概率类似）来对数据进行分类。比如，它可能作出判断，一个拥有一辆价值在1.5 万到2.3 万美元之间的轿车的人有70 %的可能是信用良好的，而有30 %的可能是信用很差。分类器在一个简单的概率模型的基础上，使用最大的概率值来对数据进行分类预测。与决策树分类器类似，生成器从训练集中生成证据分类器。MineSet 的可视化工具使用证据图来显示分类器，证据图由一系列描述不同的概率值的饼图组成。证据图可以帮助用户理解分类算法，提供对数据的深入洞察，帮助用户回答像“如果… 怎么样" 一类的问题。同样可以用于对数据进行分类。

##3.学习率
学习率 (learning rate)，控制 模型的 学习进度。
学习率作为监督学习（利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程）以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。
合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。
##4.高斯分布（正态分布）