深度学习第一次打卡

一、线性回归
线性回归可以通过直接矩阵公式和梯度下降法来求最优解，随机梯度下降可以有效的降低计算量，但也会降低一些准确性，当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。
二、Softmax与分类模型
主要是用于分类问题
平方损失估计
Loss=|y^(i)−y(i)|2/2
三、过拟合、欠拟合及其解决方案
过拟合的解决核心就是使用惩罚机制，常用的则是L2正则，也有L1正则。
四、NLP、文本预处理
文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个步骤：
1 读入文本
2 分词
3 建立字典，将每个词映射到一个唯一的索引（index）
4 将文本从词的序列转换为索引的序列，方便输入模型
五、NLP、语言模型
一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 TT 的词的序列 w1,w2,…,wTw1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：
P(w1,w2,…,wT).
六、循环神经网络
下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。