![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
知识补充|笔记
文章平均质量分 56
对学习过程中遗漏知识的补充,做笔记。
失眠的树亚
https://github.com/star-rui
展开
-
python中的zip函数
使用zip()可以同时迭代多个可迭代对象,如列表、字典。注意:当若干个可迭代对象的长度不相等时,zip()函数会停止在最短的可迭代对象。原创 2024-03-15 19:36:35 · 483 阅读 · 0 评论 -
梯度下降|笔记
机器学习中一个常见的任务是通过学习算法,自动发现数据背后的规律,不断改进模型,做出预测。上图的坐标系,横轴表示房子面积,纵轴表示房价,图中的点就是给出的数据。任务是,设计一个算法,让机器能够拟合这些数据,算出直线的参数w一个简单的方法是,先随机选一条过原点的直线,然后计算所有样本点和这条直线的偏离程度,再根据误差大小来调整w的值。原创 2023-10-30 23:32:19 · 143 阅读 · 0 评论 -
损失函数和目标函数|知识补充
损失函数,用来估量模型的预测值f(x)和真实值y之间的差异。风险函数,是损失函数的期望。f(x)关于训练集的平均损失称为经验风险,为:上面的图中,虽然第三个函数的图像对数据拟合的最好,损失函数最小,但是这并不是最好的。因为它出现过拟合习现象,过度学习历史数据。第一个函数的图像对历史数据拟合的很差,出现欠拟合现象。目标是:不仅要让经验风险最小化,还要让结构风险最小化。∴ 我们最终的优化函数是:损失函数+正则化函数即优化经验风险和结构风险,这个函数被称为目标函数。原创 2023-10-28 00:34:08 · 172 阅读 · 0 评论 -
卷积层|Convolution|知识补充
数据的形状被“忽视”了,比如,输入的数据是一个三维的图像信息,但是在向全连接层输入时,需要把三维数据reshape成一维数据,无法利用与形状相关的信息。而卷积层可以保持形状不变,当输入数据是图像时,卷积层可以以3维数据的形式接收输入数据,并以三维数据的形式输出至下一层。CNN中层的连接顺序是“Convolution-ReLu-Pooling”。CNN中增加了Convolution层和Pooling层;滑动窗口进行计算并且求和。原创 2023-06-28 15:57:19 · 259 阅读 · 0 评论 -
最大池化|知识补充
对于左上角深蓝色的区域,其中最大的数值是9,所以得到的输出为9;最大池化的超参数:规模为2的过滤器,步幅为2。向右移动两个步幅,输出为2;向右移动两个步幅,输出为3;最终得到最大池化层的输出为2。2的绿色区域内输出为6;对最大池化层的直观理解。原创 2023-06-28 16:25:12 · 120 阅读 · 0 评论 -
Transformer模型 | 个人理解
以机器翻译任务为例子,训练数据是法语句子“Je suis etudiant”和翻译成英文后的句子“I am a student”。Inputs是法语句子“Jesuisetudiant”,句子中的单词“Je”经过word embedding转换为嵌入向量x1,再加上positional embedding(位置编码向量)得到第一个Encoder block的输入向量x1。原创 2023-09-12 14:01:23 · 330 阅读 · 0 评论 -
BERT中的MLM和NSP
*内容:**在一个句子中,随机选中一定百分比(实际是15%)的token,将这些token用"[MASK]“替换。**改进:**在被选中的15%的token中,有80%被替换为"[MASK]",有10%被替换为一个随机token,有10%保持不变。①、80%的情况下将"hairy"替换为"[MASK]",即 my dog is hairy -> my dog is [MASK];一个样本的两个句子用[SEP]隔开,第一个句子的句首加上[CLS],第二个句子的句尾加上[SEP]。标签:NotNext。原创 2023-06-05 10:56:56 · 1119 阅读 · 0 评论 -
转载文章-一位研究生导师的肺腑之言
研究生规划转载 2022-06-11 14:49:38 · 70 阅读 · 0 评论