![](https://img-blog.csdnimg.cn/c422a8b6b5024b78b0780b19f7d39b5a.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
李宏毅机器学习课程笔记
文章平均质量分 93
李宏毅2021/2022春机器学习课程笔记
sweetheart7-7
技术源于热爱 ---------------------- 学习改变命运,知识改变未来 ---------------------- Architect-Road
展开
-
生成式对抗网络(GAN)【第六章】
将 Network 拿来当 Generator 来使用现在 Network 的输入会加上一个 random 的 variable (z),z 是从一个分布中 取样出来的,现在的 Network 是同时看 x 跟 z 得到输出。 由于 z 的值随机,所以 y 的输出也就不一样,此时 Network 的输出不是单一的一个东西,而是一个复杂的 distribution。 这个可以输出一个 distribution 的 Network,我们就叫它 generator原创 2022-10-19 18:32:46 · 2037 阅读 · 3 评论 -
Transformer【第五章】
Transformer 是一个 Sequence-to-sequence 的 Model(缩写 Seq2seq) input 是 一个 sequence,output 是一个 sequence,但是不知道多长,由机器自己决定 output 的长度。 应用:语音辨识,机器翻译,语音翻译。一般的 Seq2seq model 可以分为两块:Encoder + Decoder input 一个 sequence,由 Encoder 负责处理这个 sequence,再把处理好的结果丢给 Decoder,由 Decod原创 2022-09-08 08:24:53 · 427 阅读 · 0 评论 -
自注意力机制(Self-attention)【第四章】
解决的问题:输入的向量不是单一向量,并且输入的 sequence 大小不固定。Self-attention 可以将所有数据一起输入,考虑整个 sequence,输入几个 vector,输出就几个 vector(这 几个 vector 是考虑整个 Sequence 得到的)。然后将考虑整个句子的 vector 丢到 Fully connected Network,然后再来决定它应该是什么样的东西。 此时的 FC 是会考虑整个 window 才决定要输出什么样的结果。Self-attention 可以叠加很多次原创 2022-08-19 14:09:02 · 501 阅读 · 0 评论 -
卷积神经网络(CNN)【第三章】
可以发现一张图片缩小(subsampling)后看,还是可以看出图片的本质。共享参数,因为输入不一样,输出不一样,而如果输入一样的话,其输出就一样。可以实现对图片进行旋转,平移,缩放(可以通过参数值来实现)。由于一张图片不需要看全部而只需要看一小部分,所以出现了。通过观察我们可以发现把图片的某些部分作为输入就够了。叠的越深,他所能看到的范围越就会来越大。的弹性变小了,加入参数共享之后,有的。中的东西,再将其拉直,然后作为一个。里面的 参数,假设这些参数已知。的大小进行分组并选最大的。大小等可以自己定义。..原创 2022-08-13 19:02:47 · 615 阅读 · 0 评论 -
Deep Learning【第二章】
机器学习任务攻略 类神经网络训练不起来怎么办 Local minima(局部最小值)与 saddle point(鞍点) batch 与 momentum batch Momentum 自动调整学习率 (Learning Rate) Adagrad RMSProp Adam: RMSProp + Momentum 损失函数 (Loss)注意: 当 loss 在 training data 上就很大时,如果增加模型复杂度,但是 loss 并没有减少,大概率是 optimization 有问题。 解决 over原创 2022-08-10 18:07:00 · 454 阅读 · 0 评论 -
线性回归与逻辑回归 (logistic regression and linear regression)
线性回归一般用于数据预测,预测结果一般为实数。逻辑回归一般用于分类预测,预测结果一般为某类可能的概率。线性回归 Step 1: Model Step 2: Goodness of Function Step 3: Gradient Descent How's the results? Model Selection Back to step 1: Redesign the Model Back top step 2: Regularization Regularization 逻辑回归 理想中定义分类任务的原创 2022-08-06 11:35:26 · 490 阅读 · 0 评论 -
深度学习基本概念
曲线也可以通过取适当的点然后把这些点连接起来形成一个PiecewiseLiner(分段)的Curves,所以可以通过足够多的蓝色的function加起来形成任何的曲线。推广到可能具有周期性,所以可以通过多个feature来改造函数,然后再对具有多个feature的函数进行推广,就有。来得到各种形状的sigmoidfunction来拟合各种蓝色的function。通过sigmoidfunction来逼近蓝色的function。,sigmoid趋近于。......原创 2022-07-30 18:27:15 · 388 阅读 · 0 评论 -
机器学习基本概念
基本概念课程任务机器学习的步骤1. Function with Unknown Parameters2. Define Loss from Training Data3. Optimization基本概念机器学习就是去寻找一个复杂的函切线斜率负的切线左高右低,所以如果应该向右边前进(w=w-学习率*斜率)输出可以是一个数(regression)、可以是一个类别(分类)、文本、画图等。...原创 2022-07-30 12:21:01 · 303 阅读 · 0 评论