- 博客(21)
- 收藏
- 关注
RSS订阅原创 关于李宏毅GAN课程的一些笔记
这里只记录一些看完1-4课后，被解决的困惑们。一、为什么使用GANGAN有生成器G和判别器D。能不能只用生成器？可以，但是需要的网络更大更深。能不能只用判别器？可以，但最终生成的结果可能会很模糊。二、条件GAN比如有一些文本描述，辅助生成图像。三、数学理论需要注意的一些小细节。G就是为了让生成数据的分布和真实数据分布是一致的，例如真实数据是一些图像，世界上所有的图像组成一个高维的空间，真实的图像只占其中一部分，我们假设它们是满足某个分布PdataP_{data}Pdata的，所
2021-06-22 01:05:12
164
原创 论文|新闻标题生成
文章：Image Caption Generation for News Articles早期的工作提出了新闻图像字幕的两阶段方法。第一阶段将关键词注释到给定的图像和文本，第二阶段基于提取的关键词实现描述。后来，一些工作提出了一种端到端的方法，在深度神经网络中集成图像和文本特征。这篇文章也用了端到端的方法，用了transformer.总体的框架图：注：关于transformer之前文章写了简介。（mark一下，这里decoder最后为什么加linear层？然后还要再深度理解一下att
2021-05-01 10:32:04
626
原创 关于transformer理解
学习视频地址：https://www.bilibili.com/video/BV1Di4y1c7Zm?from=search&seid=16737619548015070094总体来说是这样一个架构。encoding/decoding:位置编码详解：下面这个视频讲的很清晰。https://www.bilibili.com/video/BV1vA411V71k?from=search&seid=16094804352675454411大概就是说，通过泰勒展开，设
2021-04-30 23:46:40
252
1
原创 论文|正则策略综述总结
关于正则技术的论文，主要有：1.仅对传统机器学习中，正则项的总结，包括对向量正则，和矩阵的正则2.提出了广义正则的概念，对于减少过拟合，提高泛化性能的策略统称为正则技术。第一篇：A survey of regularization strategies for deep models（2019）机器学习中很重要一点就是让一个算法有泛化性。没有免费午餐定理暗示了对于特定学习任务要有自己的算法设计。有一个调整算法适应问题的策略：核心是泛化能力的提升。2015 Peng的一篇论文：1.正则化
2020-10-29 22:36:15
1131
1
原创 论文|少样本学习综述
原文题目：Learning from Very Few Samples: A Survey文章结构：一、引言深度学习的领域：1.视觉2.语言3.语音4.游戏5.人口学6.医学7.植物病理学8.动物学深度学习的成功取决于：强大的计算资源、复杂的网络、大规模的数据集。少样本学习（FSL）的意义：实际中，医学、军事、金融等一些领域由于无法获取足够的训练样本标签（可能是涉及隐私安全花费等），所以少样本学习很有意义。意义：1.不用依赖大规模样本 2.缩小人类与AI的差距 3.低成本，快速
2020-09-25 16:57:55
2247
原创 林轩田《机器学习基石》（十六）—— Three learning principles
本节课讲述一些机器学习的小秘密：三个学习原则。一、奥卡姆剃刀原则An explanation of the data should be made as simple as possible, but no simpler. 你今天如果对你的资料做解释的话，那么越简单的解释越好。这件事可以追溯到14世纪，奥卡姆的威廉说：对一件东西的处理越简单越好，把不必要的东西剃掉。在机器学习中的意思是：对资料最简单的解释就是最好的解释。同样的资料，如下，比较好的是左边的解释：简单，而且效果还不..
2020-07-31 18:30:41
233
原创 林轩田《机器学习基石》（十五）—— Validation
上一次讲到为了避免overfitting，一个方法是regularization。在之前的上加上一个regularizer，生成，将其最小化，这样可以有效减少模型的复杂度。今天我们要讲的是Validation，验证的方法，帮助我们作出正确的模型选择。一、模型选择问题模型的算法有：PLA, pocket,线性回归, logistic回归等。在算法中我们还可以决定一些东西：最大迭代步数T：100; 1000; 10000等学习率：1; 0:01; 0:0001等特征变换：线性,二次,..
2020-07-30 19:20:47
608
原创 林轩田《机器学习基石》（十四）—— Regularization
上次说到在机器学习中最大的危险之一是overfitting，之前把overfitting比作出了车祸，我们分析了产生的原因与解决方法：油门太重，即使用了太大的vcdimension。解决方法：开慢点，即从简单的模型开始学起。 道路崎岖，也就是有太多noise。解决方法：把这些崎岖的地方搞清楚，即数据清洗。数据提纯（data cleaning/pruning）。 对路况不熟悉，在机器学习中就是资料太少。解决方法：增加路况资料，即现有的资料或对这个问题的了解中产生新的、多的资料（datahintin..
2020-07-30 16:14:29
287
原创 林轩田《机器学习基石》（十三）—— Hazard of overfitting
上节课讲了如何解决非线性问题：通过特征变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行分类。我们说这样会增加额外的模型复杂度。今天我们说这个额外的复杂度会造成机器学习过拟合（overfitting）现象。今天讲困难怎么产生的以及如何解决它。一、什么是过拟合？先从一个例子出发，我们现在要做一个一维的回归分析，资料中有五个点，然后输出一个实数。资料：，N = 5目标函数f：f是一个二次函数（图中为蓝色曲线）label：，由f产生再加一点点很小的噪音解决方案1：4次多项式做回归
2020-07-28 17:09:15
178
原创 林轩田《机器学习基石》（十二）—— Nonlinear Transformation
上一节讲的三个模型：线性分类、线性回归，logistics回归问题都是线性的方式：用w计算一个分数。今天要讲的是nolinear非线性的方式去做分类。一、二次hypothesis对于线性的假设，二元分类问题中，首先从视觉上是用把资料用一条线切割。数学上来讲就是用我们输入的特征x计算一个分数：另一方面，我们会遇到某些资料无法用线切割，不管用哪一条线切割都会很大。今天我们研究的是，如何突破线性的限制：不用“线”的方式，用其他方式也可以做到分类。1.资料D不是线性可分的。2.用一个圆.
2020-07-27 23:00:52
243
原创 林轩田《机器学习基石》（十一）—— Linear models for classification
之前我们介绍了Logistic回归以及它的误差为交叉熵误差，介绍了梯度下降算法gradient descnt来获得最好的w。接下来我们将回顾之前的线性模型，将其延伸到更多的分类问题中。一、二元分类我们上一节课介绍的三个线性模型线性分类问题使用了：1.线性scoring function2.h = sign(s)3.0-1误差NP难的，不好解。线性回归问题使用了：1.线性scoring function2.h =s，不需要使用函数 sign(x)3.平方误差...
2020-07-26 20:59:07
318
原创 林轩田《机器学习基石》（十）—— Logistic regression
上次介绍了线性回归问题，用平方误差计算出w。本节课介绍Logistic regression：逻辑斯蒂回归。一、Logistic regression问题学习流程图，比如我们要看病人是否有心脏病，左上角说我们拿到的资料可能有noise，x是病人特征，这个目标分布P会对应一个理想的目标函数f，当我们想知道病人有没有心脏病，做二分类问题：今天一个类似的问题，我们不想知道他有没有心脏病，我们想知道病人心脏病的可能性是多少？我们想要得到一个[0,1]之间的值P（y|x），我们的目标函数f
2020-07-26 15:36:53
192
原创 林轩田《机器学习基石》（九）—— Linear regression
上一次讲到VCbound适合各种err。以及有noise的情况下，VC Bound理论仍然是成立的。本节课介绍机器学习最常见的一种算法：Linear Regression.一、回归问题我们依旧从信用卡的问题来讲，现在的信用卡问题不再是给某人信用卡，而是该给这个多少额度。学习流程图如下所示：此刻的学习目标变为了输出实数的函数，即，上面的问题是线性回归（Linear Regression）问题。我们利用资料来算一个加权的分数，决定给这个人多少额度：顾客特征：加权后的分数：..
2020-07-24 22:34:21
255
原创 林轩田《机器学习基石》（八）—— Noise and error
上一节课，我们主要介绍了VC Dimension的概念。如果Hypotheses set的VC Dimension是有限的，且有足够多N的资料，同时能够找到一个g使它的，那么就能说明机器学习是可行的。之前我们说过含noise的问题，现在我们看加上noise会不会对整个推导有影响？即VC bound还会不会作用的很好？一、噪音：noise我们看一下带noise的学习问题的流程图：资料的noise主要来源有（以信用卡为例）：1.标签y的noise，比如一个好顾客有坏标签2.标签y的n
2020-07-24 01:09:10
251
原创 林轩田《机器学习基石》（七）—— The VC dimension
首先明确：Generalization是“举一反三”的能力。什么是？答：未来测试表现与我们现在的表现是类似的。上一次我们说到，如果N足够大，且有breakpoint，那么对于breakpointk来说，有我们是否可以利用最右端的呢？答案是肯定的，可以发现因此，时候，我们有由于我们一开始在解决“两个问题”的时候已经假设N够大（之前已经讲过什么是“两个问题”，一会儿还会再复习一下，现在就先默认），所以上述可以删去。综上，我们可以把之前一直提的不等式写为如下的样子：...
2020-07-22 17:32:07
245
原创 林轩田《机器学习基石》（六）—— Theory of generalization
之前我们假设了M为有限个的时候，机器学习可以进行。上一节课我们讨论了M是无限个的时候，我们定义了一个成长函数，即dichotomy的最大个数。可以看到，当是多项式，那么不等式会表现好，如果是指数则表现不一定会好。又提到，如果存在一个breakpoint时，可能会越来越远离2^N，而这就是我们所希望的。一、回顾我们首先回顾一下上一次讲的内容，即四种成长函数与break point的关系：相当于对一维数轴的N个点进行分类，如图，只有阈值的正方向被分类为正。所以，它没法分‘x o’这.
2020-07-18 16:32:29
308
原创 林轩田《机器学习基石》（五）—— Training versus Testing
这节课的主要内容依旧是机器学习的可行性。一、之前问题回顾与现在新问题的思路上一节课回顾：在有些时候机器学习似乎是不可行的，但是如果添加了约束：如果样本数据足够大，且hypothesis个数有限，那么机器学习一般就是可行的。进一步提问，如果当hypothesis的个数是无限多的时候，机器学习的可行性是否仍然成立？现在具体讲一下之前几节课的架构：以下是学习的流程图已知一个批处理有监督的问题，。机器学习的主要目标分成两个核心的问题（如果满足以下两点我们就可以说达到了学习的效果）：
2020-07-16 22:01:31
160
原创 林轩田《机器学习基石》（四）—— Feasibility of learning
我们将介绍机器学习的可行性，讨论问题是否可以使用机器学习来解决。一、不能学习的问题首先考虑如下问题，依据6个旧图形判断新图形的类别。如果根据是否是对称图像：该图形被分类为+1是否左上角的小方块是黑色的：该图形被分类为-1可以看到规则可以随人说，而且还在已知资料上分的很好。所以如果没有限制无论你答什么，你对还是错都是随人说的。另一个例子：灰色部分是数据D，y是真实的标签，g是理想的使得，可以看到都可以使得已知样本正确分类，所以看样子都满足g的条件。但是给了三个新样本，这些的结果
2020-07-14 23:31:53
224
原创 林轩田《机器学习基石》（三）——Types of learning
本节课将主要介绍一下机器学习有哪些种类，从4个方面进行分类。按输出空间分类、按标签分类、按问题协议分类、按输入空间分类注：分群=聚类一、按输出空间分类二分类问题机器要不要发信用卡？即，机器学习如何做“是非题”。输入：(顾客资料)输出：(引用卡记录好坏)资料：多分类问题我们要区分不同种类的硬币输入：(硬币资料)输出：(硬币种类)资料：其他多分类问题：手写数字识别、水果图像分类、垃圾邮件回归问题如果我们今天给了病人的状况，那么我们想知道病人多少天.
2020-07-14 11:35:52
356
原创 林轩田《机器学习基石》（一）——The learning problem
课程主要内容：1.什么时候可以用机器学习2.为什么可以用机器学习3.怎样用机器学习4.怎样更好地用机器学习注：学习视频中，资料探勘=数据挖掘，人工智慧=人工智能一、学习与机器学习学习：观察→学习→技巧机器学习：数据（资料）→机器学习→技巧注：技巧就是增进某种表现或者效果的手段。二、什么时候可以用机器学习1. 事情本身存在某些潜在规则，并且有明确的目标（得到“技巧”）；2.不能用一系列代码直接判断，只能通过学习；3.得有资料。如预测地球一万年后是不是会毁..
2020-07-13 10:37:43
187
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人