8.26学习日记

8.26学习日记

一、感知机

感知机（Perceptron）是一个基本的线性分类器，是最早的人工神经网络模型之一。它可以用于二分类问题，主要用于学习将数据分成两个类别的超平面。
原理：
1.感知机接收一个输入向量X = (x1,x2,x3,...,xn),每个输入特征x都有一个对应的权重 w
2.计算输入向量和权重的线性组合，再加上一个偏置项后构成Z=WX+b，其中W是权重向量，X是输入向量
3.使用激活函数进行处理，感知机用的是阶跃函数，这样输入向量会被分为正或负
说白了就是一堆向量通过这个公式得到了一堆值，然后根据阶跃函数分成正负

二、预训练

1.预训练有什么用
很多时候我们的具体任务是不具有大模型的，比如需要完成猫狗图片分类任务，仅仅提供100张猫狗图片，现在拿一张图片问你是猫还是狗，这样是没办法做的。这个时候已经有了用100万张鸡鸭图片训练而来的模型，此时我就可以用这个模型去训练我的猫狗图片。原理是cnn中浅层是通用的，我可以用我的前一百层去训练猫狗，这前一百层可以调整也可以不调整
2.预训练是什么
通过训练好的模型去完成小数据量的任务，即使用模型的浅层参数
3.预训练怎么用
transform等，我暂时还不懂

三、独热编码到词向量

1.什么是独热编码
即one-hot编码。例如我有一个句子I am tian，此时我有一个包罗万象的词典，I和am和tian都在其中，出现的字母就在向量中表示为1，比如I就是（1，0，0，0，…，0），am是（0，1，0，0，…，0），tian是（0，0，1，0，…，0）。
2.独热编码的问题
当我的词典非常大时，就会有很多的空位是冗余的。同时两两向量之间进行内积的结果都是0，无法进行相似度的计算
3.词向量
词向量是高维的独热向量乘以一个事先训练好的嵌入矩阵Q，得到降维后的向量称为词向量。嵌入矩阵 Q 是一个尺寸为 ∣V∣×d 的矩阵，其中 ∣V∣ 是词汇表的大小，d 是词向量的维度。嵌入矩阵的每一行对应于词汇表中一个单词的词向量。因此，嵌入矩阵可以看作是将每个单词从独热表示映射到低维的词向量表示的一个查找表。
注：第一次写博客，记录一下，理解若有错误还请指正