机器学习
文章平均质量分 94
ML/DL
嘀嗒上了热茶
这个作者很懒,什么都没留下…
展开
-
李宏毅机器学习第十三周
本周的学习内容涵盖了神经网络压缩技术的多个方面,包括网络剪枝、知识蒸馏、参数量化、架构设计以及动态计算。在网络剪枝部分,深入研究了基本方法,重点关注了权重剪枝和神经元剪枝的技术。知识蒸馏方面,学习了学生和教师模型的概念,以及如何通过蒸馏方法将大模型的知识传递给小模型,还讨论了集成和温度参数的重要性。参数量化部分,探讨了基本方法和二元权值的应用。在架构设计中,介绍了低秩近似和切除分离卷积的技术,包括方法和直观解释。最后,学习了动态计算的概念,了解了如何在运行时根据输入数据的特性来调整计算过程。原创 2023-09-03 17:48:02 · 349 阅读 · 0 评论 -
李宏毅机器学习第十二周
本周学习了机器终身学习(Life Long Learning)的多个方面。在终身学习的简介中,了解了这一方法的核心思想,即使计算机系统能够持续地学习和应用新知识以适应不断变化的环境和任务。在知识保留方面,探讨了多任务训练的限制,介绍了弹性权重保留(Elastic Weight Consolidation)和生成数据(Generating Data)等方法。在知识转移方面,比较了终身学习和迁移学习,讨论了衡量终身学习能力的方法以及梯度片段记忆(Gradient Episodic Memory,GEM)。原创 2023-08-27 20:01:37 · 765 阅读 · 0 评论 -
李宏毅机器学习第十一周
本周学习了强化学习的内容,主要聚焦于Actor-Critic方法、奖励塑造、以及无奖励情境下的模仿学习。在Actor-Critic部分,深入了解了基于蒙特卡洛和时序差分方法的Actor-Critic框架,探讨了这两种方法之间的比较以及版本3.5和版本4的演进。此外,还学习了Actor-Critic训练的技巧。在奖励塑造方面,探究了稀疏奖励问题,以及如何通过奖励塑造和好奇心机制来改善训练效果。最后,在无奖励情境下,研究了模仿学习和逆强化学习的应用,讨论了动机、方法以及与监督学习的关系。原创 2023-08-20 10:16:32 · 215 阅读 · 0 评论 -
李宏毅机器学习第十周
本周的学习内容涵盖了领域自适应和强化学习两个方面。在领域自适应方面,深入研究了领域转移的概念,即如何应对数据从一个领域到另一个领域的变化。还学习了领域对抗训练,其中包括特征提取器、领域分类器的工作原理,以及该方法的局限性。在强化学习方面,探究了其本质,即通过智能体与环境的交互来学习决策以最大化累积奖励。学习了强化学习的步骤,其中包括强化学习的难点以及与生成对抗网络的类比。深入研究了策略梯度方法,包括不同版本的策略梯度方法,为了优化智能体的决策策略,从而最大化累积奖励。#摘要。原创 2023-08-13 15:43:33 · 376 阅读 · 0 评论 -
李宏毅机器学习第九周
本周学习了可解释性概念及其重要性,以及在机器学习中实现可解释性的不同方法。在可解释性方面,探讨了为什么需要使模型的决策过程更具可理解性,并如何在不同层面上实现解释性。在局部解释性方面,介绍了局部解释性的概念,并深入探讨了移除和修改数据的方法。在全局解释性方面,学习了激活最小化方法,并介绍了通过生成器进行“正则化”的方法。原创 2023-08-06 19:01:59 · 264 阅读 · 0 评论 -
李宏毅机器学习第八周
本周主要学习了Adversarial Attack(对抗攻击)和Defense(防御)相关的内容。在对抗攻击方面,学习了攻击的示例、攻击的方法以及攻击的途径。通过对输入数据进行微小的、精心设计的扰动,攻击者可以欺骗机器学习模型,导致模型产生错误的预测结果。还了解了白盒攻击和黑盒攻击的区别,白盒攻击指攻击者了解模型的结构和参数,而黑盒攻击则只能通过模型的输出结果进行攻击。在防御方面,学习了被动防御和主动防御两种策略。被动防御主要是针对对抗攻击的检测和修复,通过检测异常数据和修正对抗样本来提高模型的鲁棒性。原创 2023-07-29 13:04:43 · 229 阅读 · 0 评论 -
李宏毅机器学习第七周
本周学习了自编码器(Auto-Encoder)及其变体以及在不同领域中的应用。自编码器是一种无监督学习模型,用于学习数据的有效表示。它通过编码器和解码器的结构,将输入数据转换为潜在表示,再从潜在表示重构回原始数据。De-noising Auto-encoder是自编码器的一种变体,通过在输入数据中引入噪声,提高模型的鲁棒性。自编码器的应用涵盖了特征解耦、离散表示和异常检测等领域,用于从高维数据中提取有用特征、进行数据降维和发现异常行为。原创 2023-07-23 16:21:42 · 359 阅读 · 0 评论 -
李宏毅机器学习第六周
本周主要学习自监督学习,如何使用没有标记的数据进行model的训练。学习了知名的大模型BERT和GPT,BERT是一个pre-train model,可以用于许多下游任务,只需要fine-tune一下。fine-tune的方式有许多,具体分为输入和输出两大类别。也学习了预训练的SeqtoSeq model,UniLM model。最后,为了学习pytorch,写了一个线性回归的例子。原创 2023-07-16 13:58:24 · 435 阅读 · 1 评论 -
李宏毅机器学习第五周
本周学习对抗神经网络,知道了生成性模型和对抗神经网络的关系;了解了GAN的网络架构和模型训练流程;GAN的种类也十分多,了解到了有条件和无条件GAN的区别;也对cycle GAN进行了学习;GAN十分难训练,需要一些train的技巧;也学到一些评估GAN生成器好坏的方法。我还阅读了GAN的论文,对理论部分进行了推导,对不懂的知识查了相关概念。最后找了一个运用GAN生成手写数字的demo,进行代码运行和阅读。原创 2023-07-08 20:19:07 · 122 阅读 · 0 评论 -
李宏毅机器学习第四周
本周主要学习了Transformer。学习了Self-Attention的基本原理与具体过程;学习了一种叫做“多头”注意力(“multi-headed” attention)的机制,进一步完善了自注意力层;为了解决在Self-Attention中词的顺序信息是不重要的问题,而提出Position Encoding操作;重点是Transformer的整体架构,Transformer采用了Encoder-Decoder框架,以机器翻译为具体实例做了过程讲解;最后学习一些训练模型的tips。原创 2023-07-02 19:13:44 · 478 阅读 · 1 评论 -
李宏毅机器学习第三周
本周学习机器学习中出现的问题,以及问题的解决方案,包括损失函数的error surface如何才能不那么崎岖,可以进行normalization消除量纲的影响;三种critical point如何区分及解决;了解了Adam优化器;并学习了机器学习中的训练技巧batch,自适应学习率,momentum;还有交叉验证评估模型。还学习CNN的基本架构。原创 2023-06-25 18:46:22 · 190 阅读 · 0 评论 -
李宏毅机器学习第二周
本周学习了预测宝可梦cp值的线性回归案例,生成性学习的分类和逻辑回归的分类,以及这三种方法的对比。在预测宝可梦们cp值案例中,了解到了过拟合出现的原因以及解决过拟合的方法。在使用生成性学习去预测宝可梦的类别的案例中,了解到了sigmoid函数和生成行性学习的关系,也就是逻辑回归分类。通过对比线性回归和逻辑回归,发现逻辑回归就是在线性回归外面套了一个sigmoid函数,但是损失函数不同。原创 2023-06-18 22:16:01 · 471 阅读 · 2 评论 -
李宏毅机器学习第一周
本周学习关于机器学习的知识,并梯度下降调整模型参数的步骤进行理解,还学习一些深度学习定义和概念,并对两层神经网络模型反向传播更新参数的过程进行推导。通过这周的学习明白了机器学习的一般步骤。提示:以下是本篇文章正文内容,下面案例可供参考Machine Learning 约等于 Looking for Function(找到一个最优的函数)Speech Recognition 语音识别lmage Recognition 图像识别Playing Go (下围棋 下一步棋该如何走)原创 2023-06-11 18:32:47 · 332 阅读 · 0 评论