一 线性回归
线性回归假设输出与各个输入之间是线性关系。常采用最小二乘损失和交叉熵损失,通过梯度下降法求得权重与偏执。
二 softmax
此函数可将任意k维向量的元素映射到(0,1)之间,在分类问题中,可将其看做概率表示。
三 多层感知机
神经网络在总体上应该算是一个黑箱模型,他具有多层的网络结构,利用已有的数据和设计好的结构,包括网络的层次深度和宽度来进行学习,进而求解模型之中的未知参数,进而得到网络结构,在得到网络结构之后,我们可以利用神经网络进行预测、分类,还有很经典的一个线性模型不能解决的问题,也就是异或问题,也可以通过神经网络进行分类,但是异或问题其实还是属于分类问题。神经网络就是大致上通过这样的一个结构进行预测分析,在工程上有很多的应用,特别是在数学建模上,经常使用神经网络进行预测分析和分类。神经网络的功能非常强大,不仅仅可以解决二分类问题,对于一般的多分类问题也能解决,在进行数据的训练之前进行one-hot编码,就是使用一个n维的向量来表示不同的类别。
四 文本预处理
读入文本
分词
建立字典,将每个词映射到一个唯一的索引(index)
将文本从词的序列转换为索引的序列,方便输入模型
五 语言模型
主要是n元语法,但有参数空间过大和数据稀疏的缺点
六 循环神经网络
是循环网络的扩展,利用过去的信息参与计算。