用于分类,解决逻辑回归解决不了特征庞大的图像特征(复杂非线性假设模型)
虽然逻辑回归可以将非线性函数改成线性,但是由于非线性组合太多,所以即使改过来,那么线性特征将太多,加剧运算量(线性化也行不通)
例:一幅照片当有2500个特征时候,即x1、x2、x3........x2500,所有二次项有2500*2499/2=300万个,换成线性化。。。300万个特征
合适的权重很重要
代价函数用于求参数
树突:根须多,接收各种信号
神经元:计算单元
轴突:一根线,传送信号
隐藏层:对于训练集而言,没有对应的值知道
神经网络计算步骤:多个线性输入,作为中间变量,再给激活函数(非线性),再输出
位置从0开始(偏置单元,常数项),层数从1开始,权重算前层的
前向传播:从输入-隐藏-输出
有趣的是:可以根据不同的第一层的参数,得到不同的非线性函数所需输入的特征(对于最后一层来讲),即改变逻辑回归的输入
因为具有多种可能性,所以才有可能造成不同的假设函数,h(x)-最终的;利用权重,线性和改变下一层的输入,即中间变量
往后的每一层都是由前一层累加起来的中间变量,函数在变的越来越复杂,输入的特征即激活项在变的越来越复杂
代价函数:关注每个样本在不同输出上边的误差,正则化对每个参数的削弱
反向传播算法计算导数项,之前是求偏导
偏导数=多个样本的误差*前一项累加和(改变求偏导方法)