- 博客(5)
- 收藏
- 关注
原创 MIT 2023 深度学习2
目标函数,顾名思义就是描述了模型需要达成的目标的函数,比如在二分类任务中,我们会使用交叉熵来描述预测结果和真实结果的差距,这个距离越小说明模型越接近于真实;值得一提的是,目标函数是一个较为宽泛的概念,并不局限于损失函数,如条件随机场中,目标函数就不是用来描述真实与预测差异的损失函数;梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。的梯度公式,这个链可以延申至模型中的每一个变量。
2024-01-13 18:27:34 1037 1
原创 MIT 2023 深度学习1
观察这个表达式可以发现,输入和权重组合是线性的,如果仅仅使用这两者进行计算,无论堆叠多少神经元,最终都只能表示输入的线性组合关系;激活函数提供了神经网络的非线性特征,经典的激活函数有sigmoid、relu、tanh等,图像如下,许多深度学习教程都是从这张图开始的,即多层感知机的基础结构——一个神经元。一个神经元包含如下组成部分:输入、权重、偏置、激活函数。偏置这个概念与激活函数是绑定的,它提供了激活函数“激活”的条件。以relu这个激活函数为例,只有当。时,该神经元的输出才不为0,即处于“激活”状态。
2024-01-11 17:27:26 550
原创 论文阅读——《Unsupervised Topic Discovery in User Comments》
论文阅读:《Unsupervised Topic Discovery in User Comments》。本文发表于Re'21(29th International Requirements Engineering Conference)。本文比较有趣的点是实验效果和评估方法。
2023-03-19 11:33:08 147 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人