![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 92
机器学习与深度学习理论基础和实践方法。
zkccpro
这个作者很懒,什么都没留下…
展开
-
Transformer与注意力机制
循环神经网络(RNN)是专门用来处理自然语言、金融信息等时序数据的一种神经网络。它的结构和运作方式如下图所示,基于马尔可夫决策模型。图1 循环神经网络的结构和运作方式应该注意到以下几个性质:RNN是输入数据的。(时序中靠后的输入依赖前面一个输入的隐层输出值)RNN层数不固定,但总共只有3个参数组(输入参数、隐藏参数、输出参数),**各层之间共享权重。**其实这也好理解,因为时序序列中每一个输入输出的映射关系,应该与其在时序中所处的位置无关。所以RNN各层的权重应该共享,实际只训练了一层的参数。原创 2023-06-16 10:03:50 · 1428 阅读 · 2 评论 -
L2正则与权重衰减
是优化器中做的一种具体策略,其目的是让网络参数(权重)得到不同程度的衰减。具体来说,权重越大,希望衰减地越快。是数学上 对最优化式的一种约束手段,采用L2范数对变量进行约束,可以达到一些想要的效果。(下面会证明)在不引入动量的SGD系优化器中,权重衰减完全等价于L2正则。对于引入动量的SGD优化器中,权重衰减约等于L2正则,其差别实际可忽略不计。而对于Adam系优化器,权重衰减不能认为等价于L2正则。原创 2023-06-16 10:01:28 · 559 阅读 · 0 评论 -
常见优化器详解
目前有两种主流优化器:随机梯度下降系(Stochastic Gradient Descent, SGD)和Adam系。应该认识到的是,优化器并不是某类数学上的优化算法,而是梯度下降(一阶迭代法)的工程实现方案和包装。原创 2023-06-16 09:59:57 · 3770 阅读 · 0 评论 -
线性神经网络
我们应该从线性神经网络开始,去逐步了解深度神经网络(深度学习)的各种复杂结构和底层原理。原创 2023-06-16 09:54:04 · 1063 阅读 · 0 评论 -
深度学习经典trick汇总
trick这个词或许有投机取巧的意味,但深度学习论文中出现的很多这个trick确实对模型更方面性能有所提高,而且它们中的很多还具有普适性,那么这种“trick“或许应该被叫做“技术”。原创 2023-06-16 09:51:33 · 1841 阅读 · 0 评论 -
卷积神经网络
有了多层感知机之后,我们应该怎么做CV(Computer Vision)任务呢?一种简单的想法是把图像看成一维张量直接输入到一个多层感知机里。这样可以吗?当然可以,早期的CV就是这么做的,但是有啥问题呢?巧合的是,以上这俩问题,通过引入卷积这个技术方案可以【一石二鸟】。下面举例推导,假设输入是k×l的单通道图像,准备使用的网络是含有一个隐层的多层感知机。hui0∑klWixi1-1(1-1)中,kl分别为图像宽度和高度;x为把图像压成一维后的向量(1×kl);原创 2023-06-16 09:50:32 · 852 阅读 · 0 评论 -
常见骨干网络介绍
骨干网络(backbone network)顾名思义,是深度学习中最核心的网络组成。本文按时间顺序,简要介绍几种影响重大的backbone设计思路,我们或许可以从窥探前人的设计思路中获得启发和灵感。原创 2023-06-16 08:27:47 · 3838 阅读 · 0 评论 -
多层感知机与深度学习算法概述
从多层感知机的问题出发,引出深度学习算法。对深度学习算法的基本组成介绍明白。深度学习实现效果的总体评价方法做一个介绍。诚然,时至今日 深度学习是一个较大的计算机科学领域了。深度学习领域又可以分为若干小领域。按应用场景分:CV、NLP、数据分析…(每个应用场景又分出好多细分领域…)按算法分:CV的卷积神经网络、NLP的transformer/注意力机制、强化学习…(每个算法也有若干细分算法,适用于各种应用场景)那么多场景,那么多算法;原创 2023-06-16 08:08:11 · 4317 阅读 · 1 评论