打卡

一 线性回归

线性回归假设输出与各个输入之间是线性关系。常采用最小二乘损失和交叉熵损失，通过梯度下降法求得权重与偏执。

二 softmax

此函数可将任意k维向量的元素映射到（0,1）之间，在分类问题中，可将其看做概率表示。

三 多层感知机

神经网络在总体上应该算是一个黑箱模型，他具有多层的网络结构，利用已有的数据和设计好的结构，包括网络的层次深度和宽度来进行学习，进而求解模型之中的未知参数，进而得到网络结构，在得到网络结构之后，我们可以利用神经网络进行预测、分类，还有很经典的一个线性模型不能解决的问题，也就是异或问题，也可以通过神经网络进行分类，但是异或问题其实还是属于分类问题。神经网络就是大致上通过这样的一个结构进行预测分析，在工程上有很多的应用，特别是在数学建模上，经常使用神经网络进行预测分析和分类。神经网络的功能非常强大，不仅仅可以解决二分类问题，对于一般的多分类问题也能解决，在进行数据的训练之前进行one-hot编码，就是使用一个n维的向量来表示不同的类别。

四 文本预处理

读入文本
分词
建立字典，将每个词映射到一个唯一的索引（index）
将文本从词的序列转换为索引的序列，方便输入模型

五 语言模型

主要是n元语法，但有参数空间过大和数据稀疏的缺点

六 循环神经网络

是循环网络的扩展，利用过去的信息参与计算。