deep learning
JasonKQLin
我欲仁,斯仁至矣!
展开
-
拟牛顿法quasi-Newton method
拟牛顿法Quasi-Newton methods是一种以牛顿法为基础设计的,求解非线性方程组或连续的最优化问题函数的零点或极大、极小值的算法。当牛顿法中所要求计算的雅可比矩阵或Hessian矩阵难以甚至无法计算时,拟牛顿法便可派上用场。原创 2023-08-08 16:04:32 · 76 阅读 · 0 评论 -
最大似然估计(Maximum Likelihood Estimation)
如果我们拿到一组值,不知道这组值对应的分布的参数,甚至都不知道这组值服从何种分布,我们推测可能分布的参数,我们给这个参数取不同的值,计算这些点发生概率的乘积,这就是似然。我们要找到概率最大时(即最大似然)对应的参数值,此时的参数值最有可能是真实分布的参数值。在某个分布的参数已知的情况下,计算某个值(或一组值、一个区间)出现的概率,概率是用原因推测结果,给定某个分布,理论情况下事件发生的频率跟我们计算出来的概率是一样的。原创 2023-06-28 00:37:31 · 347 阅读 · 0 评论 -
batch normalization与layer normalization
batch normalization常用在CNN上,而用layer normalization用在RNN和transformer上更合适,因为序列数据的长度不一,导致有些特征在部分样本中没有,给基于特征的标准化带来了麻烦。原创 2023-05-05 20:37:36 · 296 阅读 · 1 评论 -
多层感知机(Multilayer Perceptron, MLP)
【代码】多层感知机(Multilayer Perceptron, MLP)原创 2023-05-02 18:56:58 · 303 阅读 · 0 评论