![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 59
Ken鸡腿
这个作者很懒,什么都没留下…
展开
-
大模型+大资料的神奇效果-李宏毅
这两种技术在训练大语言模型时都可以起到提升性能的作用。对于在相同的算力情况下,如何分配模型大小和资料量,这里的一张图,大概有一个最好的比例,1billion的参数,对应20billion的资料量会有最优的效果。目前已知最大的模型,里面是很多个模组,也叫moe,每次询问问题也不会调用每一个模组,而是会选择其中一个进行调用,GPT最新的一部分好像就是用的moe。还有一个使模型效果更好的方式是instruction-tuning,其任务的占比仅仅是预训练模型的百分之0.2,但是能有很好的效果。原创 2023-07-24 12:51:28 · 87 阅读 · 0 评论 -
图像生成模型-李宏毅
flow-based是将一张图片进行了encoder,是正态分布的,也可以反过来用,放一个向量到encoder,生成一张图片,这个向量是可以invertible。1.对于文字生成,有逐个击破和一次到位两种,映像生成也可以是逐个击破,比如预测下一个颜色,通常是RGB三原色,一个颜色又是有0-255组成,所以可以使256。3.gan是通过正态分布的向量进行decoder生成一张图片,同时训练discriminator,来分辨产生的图片和真实图片,如果分不清了,就进行迭代。这几个是常用的影像生成的模型。原创 2023-07-26 10:34:03 · 286 阅读 · 1 评论 -
机器学习基本原理-李宏毅
ChatGPT原理剖析原创 2023-07-22 11:52:30 · 113 阅读 · 1 评论