Task01：线性回归；Softmax与分类模型、多层感知机

Task01：线性回归；Softmax与分类模型、多层感知机

序：报名了一个线上学习，要求打卡笔记，正好就在这里记录一下。

线性回归

线性回归就作为基础入门，主要是为了引入全连接模型，就算是和神经网络勾搭上了。模型就是WX+b，损失函数就是L2范数，最优化就是梯度下降。可能因为时间原因，并没有展开讲最优化方法的其他方法和实现（群里有大神解释了反向传播的实现方法–拓扑排序，好像学过，但造就忘了，有机会可看看）。
习题理由有一个说tanh函数和sigmoid函数是平移放缩的关系，想了想还真是！以前都没发现…

softmax与分类模型，多层感知机

softmax就是推广的sigmoid，很好的解释了分类问题中L2不合适而交叉熵更合适的地方。但想想其实分类问题中的one-hot编码也很不合适，如果能和词向量似的也搞个嵌入可能更合理？

嗯… 能记起来的就这些了吧… 就这样吧…