神经网络

用于分类，解决逻辑回归解决不了特征庞大的图像特征（复杂非线性假设模型）

虽然逻辑回归可以将非线性函数改成线性，但是由于非线性组合太多，所以即使改过来，那么线性特征将太多，加剧运算量（线性化也行不通）

例：一幅照片当有2500个特征时候，即x1、x2、x3........x2500,所有二次项有2500*2499/2=300万个，换成线性化。。。300万个特征

合适的权重很重要

代价函数用于求参数

树突：根须多，接收各种信号

神经元：计算单元

轴突：一根线，传送信号

隐藏层：对于训练集而言，没有对应的值知道

神经网络计算步骤：多个线性输入，作为中间变量，再给激活函数（非线性），再输出

位置从0开始（偏置单元，常数项），层数从1开始，权重算前层的

前向传播：从输入-隐藏-输出

有趣的是：可以根据不同的第一层的参数，得到不同的非线性函数所需输入的特征（对于最后一层来讲），即改变逻辑回归的输入

因为具有多种可能性，所以才有可能造成不同的假设函数，h(x)-最终的；利用权重，线性和改变下一层的输入，即中间变量

往后的每一层都是由前一层累加起来的中间变量，函数在变的越来越复杂，输入的特征即激活项在变的越来越复杂

代价函数：关注每个样本在不同输出上边的误差，正则化对每个参数的削弱

反向传播算法计算导数项，之前是求偏导

偏导数=多个样本的误差*前一项累加和（改变求偏导方法）