- 博客(15)
- 收藏
- 关注
RSS订阅原创 李宏毅深度学习——机器终身学习
机器终身学习一、终身学习在现实世界的应用二、终身学习v.s.Transfer Learning三、终身学习的评估四、灾难性遗忘解决方法1、选择性突触的可塑性（1）为什么会出现灾难性遗忘（2）如何解决2、额外神经资源分配（1）progressive neural networks(2)packnet3、记忆回复一、终身学习在现实世界的应用机器不断在线上收集资料，再更新模型终身学习的难点：目前出现的终身学习是不同域的任务在任务1训练好模型直接用任务2更新参数，但是发现学完任务2之后，忘记了任务1
2021-09-10 15:50:30
1848
原创 李宏毅深度学习——强化学习
强化学习一、RL是什么二、RL的框架1、第一步：Function with unknown2、第二步：定义损失函数3、第三步：Optimization三、Policy gradient（1）如何控制你的actor（2）如何确定哪个行为是好的版本1（3）如何确定哪个行为是好的版本2（4）如何确定哪个行为是好的版本3（5）exploration四、Actor-Critic1、Gritic（1）如何估计value function（2）将critic用在Actor中2、Tip of Actor-Critic五、R
2021-09-10 10:34:07
1411
1
原创 李宏毅深度学习自监督式学习
目录一、Self-supervised Learning1、BERT模型三级标题四级标题五级标题六级标题一、Self-supervised Learning在没有标注的资料里面，将其分成输入部分和有label的部分1、BERT模型输入一排向量输出一排向量，输入多长输出多长（一般用于自然语言处理）输入的文字随机遮盖；三级标题四级标题五级标题六级标题...
2021-09-03 18:54:04
286
原创 生成式对抗网络
目录一、Network as Generator1、为什么要distribution?二、Generative Adversarial Network（GAN）1、Unconditional generation（1）Discriminator辨识器(2)Basic Idea of GAN(3)Generator VS Discriminator三、GAN的理论1、Divergence怎么计算2、Discriminator怎么训练3、GAN训练的小技巧(1)JS divergence有什么问题(2)WGAN
2021-08-31 21:50:23
493
原创 李宏毅深度学习 Transformer
目录一、Transformer是什么1、sequence-to-sequence（1）sequence-to-sequence应用（2）Encoder四级标题五级标题六级标题一、Transformer是什么1、sequence-to-sequence（1）sequence-to-sequence应用a、sequence-to-sequence for 语音输入序列，输出的序列长度由机器决定语音辨识VS语音合成eg：输入方言输出中文——语音辨识输入中文输出语音——语音合成现在的台语辨
2021-08-28 16:19:55
198
原创 李宏毅8月深度学习类神经网络训练不起来怎么办Task05打卡
目录一、如何辨认梯度为0是处于jubu二级标题三级标题四级标题五级标题六级标题一、如何辨认梯度为0是处于jubu二级标题三级标题四级标题五级标题六级标题
2021-08-26 00:46:01
191
原创 李宏毅深度学习——空间变换网络与循环神经网络
目录一、Spatial1、Transformer Layer 简单介绍2、如何改变一张图像或者feature map二、RNN二级标题一、Spatial1、Transformer Layer 简单介绍CNN不能做到缩放和旋转仍然保持不变Spatial Transformer Layer是在CNN前面再叠加一层 NN layer（或者在CNN里面叠加一层2、如何改变一张图像或者feature map将上一层向下一层平移如何做到：所以如果要将一张图片旋转缩放成另一张图片，我们需要的是把we
2021-08-25 17:15:07
156
原创 李宏毅深度学习Word Embeding
目录一、Word Embeding简单介绍二、Word Embeding如何生成如何利用文章确定两个词汇的关系Prediction-based的各种变形一、Word Embeding简单介绍Word Embeding：将词汇生成在一个新的空间上；将不同的词汇放入不同的类中，一个词可以多个类，表示不同的维度，如果是两个维度，如下图所示：每一个维度都有特别的含义词意相近的点比较接近二、Word Embeding如何生成让机器阅读大量的文章，就能知道每个词汇他的embeding的特征向量应该
2021-08-25 11:32:48
182
原创 数据准备和特征工程之概论与感知数据
概论目录概论一、数据准备和特征工程概论1、机器学习上限2、项目流程3、主要内容（1）感知数据（2）数据清理（3）特征变换（4）特征选择（5）特征抽取二、第一章 感知数据1、文件中的数据一、数据准备和特征工程概论1、机器学习上限数据和特征决定了机器学习上限，而模型和算法只是逼近这个上限2、项目流程3、主要内容感知数据数据清理特征变换特征选择特征抽取（1）感知数据从文件中获取数据CSV文件、Excel文件、图像文件从数据库中读取数据从网页上爬取数据通过API获取数据
2021-08-21 15:46:29
715
原创 李宏毅深度学习 自注意力机制
这里写目录标题一级目录二级目录三级目录自注意力机制解决的问题输入输出输入输出长度相同方法具体介绍一级目录二级目录三级目录自注意力机制解决的问题输入输入是一个序列，并且长度会改变的例子：输入是一个句子可以的做法：1、设置一个列表，包括所有的词汇；2、给每个词汇一个向量输入一段语音：输出第一种可能：每个向量都有对应的label（输入输出长度相同）eg：词性标注第二种可能：整个向量只有一个label第三种可能：机器自己决定输出多少个Label输入输出长度相同方法具体介绍
2021-08-18 17:08:47
466
原创 李宏毅深度学习卷积神经网络
目录图像分类解释版本1解释版本2图像分类解释版本1输入为Tensor，三维Tensor，然后将三维的Tensor拉直，成为一个向量，再输入，如图所以输入为长度30000的一个向量。如果模型弹性越大，越容易过拟合（图中一层包括了3*10^7个参数）对影像辨识的观察1：辨别图像中是否有某些重要的图案（这张图中比如鸟嘴、眼睛之类的），所以就并不需要看整张图片，只需要图片一小部分输入。receptive field可以只覆盖某些channelsreceptive field一般是想
2021-08-18 11:28:17
138
2
原创 李宏毅深度学习 深度学习介绍和反向传播机制Task04
目录一、深度学习深度学习的历史深度学习步骤神经网络模型评估损失举例二、 反向传播反向传播介绍总结一、深度学习深度学习的历史1958: Perceptron (linear model)1958: Perceptron (linear model)1969: Perceptron has limitation1980s: Multi-layer perceptron1986: Backpropagation1989: 1 hidden layer is “good enough”,2006
2021-08-17 23:39:34
127
原创 李宏毅深度学习Task03打卡
李宏毅深度学习Task03打卡目录误差来自于哪方差与偏差方差偏差方差与偏差比较模型选择N折交叉验证梯度下降误差来自于哪方差与偏差方差偏差方差与偏差比较模型选择N折交叉验证梯度下降一、误差来自于哪误差来自于偏差和方差以右下角图为例，对于不同的f点求期望，如果期望值和靶心不相同，期望点距靶心的位置是偏差，也就是说一开始瞄准的位置就有偏，而f与其期望之间的距离称为方差。为什么会有不同的f*?这是因为使用不同的数据估计模型，会拟合出不同的模型方差与偏差方差为什么越复杂的模型方差
2021-08-17 20:10:28
99
原创 李宏毅深度学习P3-P4回归打卡
李宏毅深度学习P3-P4回归打卡回归应用一个具体的例子：宝可梦CP值的预测第一步：模型Y=b+w*Xcp （线性模型）Y：进化后的cp值X：进化前的cp值w,b：参数第二步：找Fuction（a set of Function）训练数据找到一个损失函数，将训练数据和Function代入损失越大，这个Function越不好每个点代表一个Function颜色代表损失函数的大小，越偏红色，损失值越大，越偏蓝色损失值越小第三步 在a set of Function中找到最
2021-08-17 09:08:25
196
原创 李宏毅深度学习笔记打卡P1-P2
李宏毅深度学习笔记打卡P1-P2机器学习介绍人工智慧是想要达成的目标，机器学习是实现人工智能的手段，深度学习是机器学习的一部分。机器学习=从数据中寻找一个程式eg：框架1、准备一个程式集合，即模型（成千上万个程式）2、训练资料，告诉机器看到某个输入应该输出什么 （用以判断一个模型的好坏），找到最好的程式本课程将学习的内容：scenario取决于数据形式，输出不同用不同的task，在task中有不同的method。回归：输出是一个数值eg：预测明天上午的PM2.5：分类：
2021-08-16 08:37:43
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人