【2023春李宏毅机器学习】生成式学习的两种策略

最新推荐文章于 2024-01-16 22:46:31 发布
最新推荐文章于 2024-01-16 22:46:31 发布
阅读量361 收藏
点赞数
分类专栏： 深度学习&图像处理 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44807176/article/details/134471699
版权

文章目录


生成式学习的两种策略：各个击破、一步到位
对于文本生成：把每一个生成的元素称为token，中文当中token指的是字，英文中的token指的是word piece。比如对于unbreakable，他的word piece指的是：un break able三个元素
对于图片生成：每一步会生成像素

1 各个击破

各个击破策略对应的模型是： Autoregressive (AR) model
对于文本生成来说，一个字一个字的生成，每一步都会计算一次概率密度分布
对于图像生成来说，一个像素一个像素的生成

2 一步到位

一步到位策略对应的模型是：Non-autoregressive (NAR) model
对于文本生成来说，一次性计算好所有token的概率密度分布。

3 两种策略的对比

速度：一次到位更快
品质：各个击破策略的生成品质更好
应用：各个击破常用于文字，一次到位常用于影像
两种策略也可以结合使用

在这里插入图片描述

-断言-
关注
专栏目录
深度学习(DL)-3.1 工程化机器学习——机器学习策略(1) (ML Strategy (1))
Ogmx的博客
11-05 535
1.机器学习策略 1.1 为什么需要策略？ 目的： 更准确高效的选择改进方法，提高模型搭建效率 例子：  实际训练模型时可能遇到各种情况，对应各种解决方法，若没有一个清晰统一的指导路线，就会手忙脚乱不知所措，进行大量无需尝试   1.2 正交化(Orthogonalization) 定义： 正交化或正交性是一种系统设计属性。尽可能将每次修改的影响相互独立，一次修改只影响一个部分，不会相互影响，这样就能更容易的判断问题所在，减少模型搭建时间。 例子： 直观理解  电视：每个旋钮只控制一件事，如果声音太小了，只
机器学习&&深度学习——机器翻译（序列生成策略）
m0_52380556的博客
08-15 573
机器学习&&深度学习——机器翻译（序列生成策略）
【机器学习】强化学习（二）基于动态规划的算法
cxyhjl的博客
01-16 685
值函数可以分为状态价值函数和动作价值函数，分别适用于哪些强化学习问题二、基于动态规划的算法2.1 策略迭代算法示例：(改进的) 策略迭代代码首先定义了一些参数，如奖励、折扣因子、最大误差等，然后初始化了一个网格世界的环境，包括状态、动作、价值函数和策略。接着，它定义了一些函数，用于打印网格世界的状态或策略、计算状态的期望价值函数、对策略进行评估和改进等。最后，它使用了策略迭代的算法，不断地更新策略...
3.1）深度学习笔记：机器学习策略（1）
10点43的博客
03-07 511
以下笔记是吴恩达老师深度学习课程第三门课第一周的的学习笔记：ML Strategy。笔记参考了黄海广博士的内容，在此表示感谢。 1）Why ML Strategy 假设你正在调试你的猫分类器，经过一段时间的调整，你的系统达到了90%的准确率，但你还是认为你的应用程序不够好，此时我们想对它进行改善，那么我们可以怎么做呢： Collect more data Collect more div...
2023春季李宏毅机器学习笔记 02 ：机器学习基本概念
女王の专属领地
01-02 839
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php Github：https://github.com/Fafa-DL/Lhy_Machine_Learning B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
2023春季李宏毅机器学习笔记 03 ：机器如何生成文句
女王の专属领地
01-03 621
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php Github：https://github.com/Fafa-DL/Lhy_Machine_Learning B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
李宏毅-2023春机器学习 ML2023 SPRING-学习笔记：3/3 机器学习基本概念介绍
Transfattyacids的博客
04-22 853
机器学习 ≈ 机器自动寻找一个函数f例如：chatGPT：输入：“什么是机器学习”通过函数f，输出：“机”Midjournery：输入：一只可爱的猫，通过函数f，输出：一张猫猫图片Regression（回归）与Classification（分类）Regression：函数的输出是一个数值例如：输入输入今天的PM2.5值、温度、臭氧量等，输出明天的PM2.5值Classification：函数的输出是一个类别（选择题）例如：判断一封邮件是否为垃圾邮件。
李宏毅-2023春机器学习 ML2023 SPRING-学习笔记：3/10机器如何生成文句
Transfattyacids的博客
04-28 884
相关论文：Transfer Text-to-text Transformer(T5，超长论文67页)，使用的训练集：Colossal Clean Crawled Corpus(C4，一个超大的训练集，大小有7P)3.Least-to-most prompting：先让机器自己将问题进行拆分，再将问题和拆分后的问题一起给机器，让他接龙。2.使用Self-consistency的方法：让机器产生多个答案，选概率高的作为答案。输入D、Q序列，输出s、e（答案在文章中的起始位和终止位，直接截取文章），生成答案A。
李宏毅2023春季机器学习课程
啥都生的博客
02-25 4046
满足该课程所需的所有数据
【学习笔记】李宏毅2021春机器学习课程第6.1节：生成式对抗网络 GAN（一）
Harryline的博客
07-23 979
文章目录1 能够作为生成器的神经网络 GAN2 动漫人物头像生成3 判别器（Discriminator）4 从自然选择看GAN的基本思想5 GAN 的具体实现过程步骤一： 固定 generator G 的参数，只更新discriminator D步骤二： 固定 discriminator D 的参数，只更新generator G6 动漫头像生成的具体实验结果 1 能够作为生成器的神经网络 GAN 生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型
​李宏毅机器学习——对抗生成网络（GAN）
iwill323的博客
10-24 2631
​李宏毅机器学习——对抗生成网络（GAN）
[PPT] 李宏毅chatgpt，生成式ai
liguandong
03-27 4054
上面两张图是在测试语言模型是否真的有判断能力，蓝色是没有输入prompts，橙色是输入了正确的prompts，红色是输入错误的prompts，但是红色输入错误的promots，模型的输出并没有错很多。给模型输入一些不相关的prompt，看模型的输出，橙色给的正确答案，红色是错误答案，紫色是无关答案，蓝色没给prompt，给机器的promot很重要，prompt其实就是提示它做什么任务。模型越大，从context中学习到的能力越强，颜色越深，打乱label之后学习能力改变越明显，甚至给错误的答案他能反着学。
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 2961
​李宏毅机器学习-- ​强化学习
李宏毅机器学习笔记-生成模型和逻辑回归
iwill323的博客
10-18 1995
李宏毅机器学习笔记-生成模型和逻辑回归
ResNet网络结构、BN以及迁移学习介绍
断言的博客
01-20 4910
ResNet网络结构，BN以及迁移学习介绍
使用pytorch搭建ResNet并基于迁移学习训练
断言的博客
01-22 2684
文章目录model.pytrain.pypredict.py ResNet网络参数列表 model.py train.py predict.py
深度学习笔记（5）
断言的博客
02-19 2581
卷积神经网络基础；leNet；卷积神经网络进阶
MobileNet网络
断言的博客
01-23 1736
文章目录网络亮点 传统卷积神经网络，内存需求大、运算量大导致无法在移动设备以及嵌入式设备上运行 MobileNet网络专注于移动端或者嵌入式设备中的轻量级CNN网络。相比于传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量（相比于VGG16准确率减少0.9%，但模型参数只有VGG的1/32） 网络亮点 DW卷积Depthwise Convolution （大大减少运算量和参数数量） 增加超参数α\alphaα、β\betaβ α\alphaα控制卷积层卷积核个数 β\betaβ控制输入
语义分割、实例分割、全景分割的简单理解
断言的博客
02-21 1192
文章目录1. 语义分割2. 语义分割、实例分割、全景分割2.1 语义分割2.2 实例分割2.3 全景分割 1. 语义分割 语义分割是从具体到抽象的过程 分割：把不同目标标注成不同颜色的过程 语义：图片所表达的意思，例如：一个人正在骑一辆自行车 2. 语义分割、实例分割、全景分割 2.1 语义分割 图（b）。把不同的事务根据类别涂成同一个颜色。（例如图b，车都是蓝色、行人都是红色，但不区分汽车A、B，行人甲、乙、丙、丁） 2.2 实例分割 图（c）。不关心背景，则把背景统一涂成黑色。不仅不同种类之间使用不
李宏毅-2023春机器学习
最新发布
08-10
2023年春季的机器学习领域可能会聚焦于最新的研究进展和技术应用，例如： 1. 自动化机器学习 (AutoML) 的发展：自动化工具会帮助非专业用户更轻松地构建和优化模型，而无需深入理解复杂的算法细节。 2. 强化学习的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值