Task01:线性回归;Softmax与分类模型、多层感知机
序:报名了一个线上学习,要求打卡笔记,正好就在这里记录一下。
线性回归
线性回归就作为基础入门,主要是为了引入全连接模型,就算是和神经网络勾搭上了。模型就是WX+b,损失函数就是L2范数,最优化就是梯度下降。可能因为时间原因,并没有展开讲最优化方法的其他方法和实现(群里有大神解释了反向传播的实现方法–拓扑排序,好像学过,但造就忘了,有机会可看看)。
习题理由有一个说tanh函数和sigmoid函数是平移放缩的关系,想了想还真是!以前都没发现…
softmax与分类模型,多层感知机
softmax就是推广的sigmoid,很好的解释了分类问题中L2不合适而交叉熵更合适的地方。但想想其实分类问题中的one-hot编码也很不合适,如果能和词向量似的也搞个嵌入可能更合理?
嗯… 能记起来的就这些了吧… 就这样吧…