深度学习打卡day1&day2

线性回归之前

一些新学到的函数及其功能

函数	功能
Tensor (*sizes)	基础构造函数
tensor（data)	类似np.array的构造函数
ones（*sizes）	全1Tensor
zeros(*sizes)	全0Tensor
intex_select(input,dim,index)	在指定维度dim上选取，比如选取某些行、某些列
masked_select(input,mask)	例子如上，a(a>0),使用bro
gather(input,dim,index)	根据index，在dim维度上选取数据，输出的size与index一样

---

广播机制：当对两个形状Tensor按元素运算时，可能会触发广播(broadcasting)机制：
即先适当复制元素是这两个Tensor形状相同后再按元素运算。
梯度：

1. Pytorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。
2. grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播前需把梯度清零。

线性回归

线性回归是一个连续值，因此适用于连续问题。
模型定义

模型训练
1.训练数据

2.损失函数

3.优化算法

模型预测

线性回归的表示方法
1.神经网络图
2.矢量表达式

softmax回归

和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。
softmax回归模型

单样本分类的矢量表达式

小批量样本分布的矢量计算表达式

交叉熵损失函数

模型预测
在训练好softmax模型后，给定任一样本特征，就可以预测每个输出类别的概率。通常，我们把预测概率最大的类别作为输出类别。如果它与真实类别（标签）一致，说明这次预测是正确的。

多层感知机

激活函数
1.ReLU函数
ReLU(x)=max(x,0)
2.sigmoid函数

3.tanh函数

多层感知机

文本预处理

文本预处理分为四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

                                          P(w1,w2,…,wT).

n元语法的缺陷：1.参数空间过大
2.数据稀疏

循环神经网络基础

代码复现因为个人原因将在之后慢慢补齐。