一、问题回顾
简单的线性模型无法预测出更好的结果,出现model bias
所有分段线性曲线(piecewise linear curve)
所有曲线
如何写出蓝色折线曲线:用sigmoid函数逼近,因此蓝色曲线被较为hard sigmoid
二、模型建立
2.1建立函数(具有未知参数)
转换为矩阵:
代表sigmoid函数
2.2定义损失函数
Loss:
2.3最优化
实际操作:把资料随机分成一个个batch
举例:10000个例子,batch size为10,1个epoch更新1000次
三、激活函数(Activation Function)
sigmoid就是激活函数
ReLU:Rectified Linear Unit
将sigmoid转换为ReLU
可以反复多次进行ReLU/Sigmoid激活
四、神经网络
出现的问题:overfitting(在训练资料变好,测试资料结果却变差)