深度学习笔记
文章平均质量分 95
约定写代码
虽然8年前开始学习更好,但今天开始学习,总要好过明天再开始。
展开
-
第八课 RNN条件生成与Attention机制
文章目录1 RNN条件生成2 机器翻译3 Attention4 图像生成文本1 RNN条件生成RNN可以解决的问题有多种,根据输入输出个数不同分为:1 一对多:图像描述2 多对一:文本分类3 多对多:实时多对多:输入法、视频解说输入完成再多对多:机器翻译条件生成问题:P(y|x)2 机器翻译3 Attention4 图像生成文本...原创 2021-03-01 08:17:47 · 766 阅读 · 1 评论 -
第七课 循环神经网络与自然语言处理
文章目录1 循环神经网络1.1 场景与多种应用1.2 RNN网络结构1.2.1为什么需要RNN1.2.2 RNN 结构1.3 多种RNN1.4 BPTT算法1.5 生成模型与图像描述2 LSTM1 循环神经网络1.1 场景与多种应用1 模仿论文生成2 模仿linux内核编写代码3 模仿小四写论文4 机器翻译5 image to text 看图说话1.2 RNN网络结构1.2.1为什么需要RNN传统神经网络输入和输出是互相独立的。我是中国人,我的母语是____。这里完形填空的结果是与前面原创 2021-02-28 16:12:22 · 491 阅读 · 0 评论 -
第六课 从词向量到NLP分类问题
文章目录1 nlp的常见任务2 词向量表示1 nlp的常见任务分词词性标注自动摘要指代消解机器翻译主题识别文本分类2 词向量表示文本不同于图片与视频。图片与视频天然是以二进制形式表示的,计算机能够处理。文本是人造的,只有人可以懂,怎么让计算机读懂,需要使用词向量表示方式要能够解决:1 需要保证词的相似性例如 frog toad rana 相似2 向量空间分布的相似性英语中的1 2 3 4 要和西班牙语的 1 2 3 4 分布相似3 向量空间子结构向量是可以用于运算的.原创 2021-02-26 23:11:11 · 744 阅读 · 1 评论 -
深度学习03-CNN 应用
文章目录1 概述2 图片识别+定位1 概述CNN主要任务包含物体识别+定位、物体识别、图像分割。图片识别:图片分类,假设图片中是一个主要对象。图片识别+定位:可以用矩形框,画出图片中的物体。物体识别:实际情况中一个图片是包含多个对象的。用矩形框标出所有物体。图像分割:在物体识别的基础上,检测出物体边缘。2 图片识别+定位图片识别:输入:图片;输出:类别标签;评价标准:准确率图片定位:输入:图片;输出:物体边界框(x,y,w,h);评价标准:交并准则(x,y)是左上角的点,w是宽度,h是原创 2021-02-25 17:43:33 · 2118 阅读 · 0 评论 -
深度学习04-RNN
文章目录1 为什么需要RNN2 RNN的网络结构3 RNN的优化算法BPTT4 LSTM1 为什么需要RNN2 RNN的网络结构3 RNN的优化算法BPTT4 LSTM原创 2019-12-13 06:32:29 · 318 阅读 · 0 评论 -
深度学习03——CNN
说明:本系列是七月算法深度学习课程的学习笔记1神经网络与卷积神经网络1.1 深度神经网络适合计算机视觉处理吗深度神经网络简称DNN,卷积神经网络简称CNN。DNN的每一层与后面一层都是全连接。如果输入层是3维,隐层1有4个神经元。那从输入层到隐层1会有35=15个参数。如果隐层2有4个神经元,从隐层1到隐层2,需要44=16个参数。在图像视频处理中,输入是非常大的。例如一张图片可能的输...原创 2019-11-24 23:02:38 · 760 阅读 · 0 评论 -
深度学习02——Softmax、DNN、Wide&&Deep Model
1 背景介绍2 神经网络非线性能力及原理2.1 感知器与逻辑门2.2 强大的空间非线性切分能力2.3 网络表达能力与过拟合问题2.4 BP与SGD3 代码与示例3.1 TensorFlow多层感知器非线性切分3.2 神经网络分类(非线性)示例3.3 Google Wide&&Deep Model...原创 2019-11-21 22:47:03 · 328 阅读 · 0 评论 -
为什么机器学习算法要与人类水平比较
原因1 近年来机器学习的效果越来越好,能够和人类的相应能力做比较。 2 设计和构建机器学习系统,这个工作流程很高效。 因为种种原因,ML或者人都不可能超过Bayes Optimal Error 贝叶斯最优误差,ML随着时间推移会越来越接近贝叶斯最优误差。 3 在人类做得很好的领域,将ML与人的能力比较,如果ML能力差,那么可以得到更多的人类标记的数据;从人类的视角发现哪些地方还能再改进;得原创 2017-09-27 20:22:18 · 600 阅读 · 0 评论 -
机器学习与人类比较
近些年,一些机器学习算法的效果,总是会提到与人类相应能力比较高出多少多少。为什么会这样? 1 人类在某些领域确实很擅长。例如图片分类。 2 近些年ML有了很大进步,效果非常好。 3 某些用途的ML与人类的能力比较,当ML效果比人类的能力差的时候,可以获得更多的人类标记的数据;从人的视角发现能提高的方法;能够得到更好的偏差值和方差值。原创 2017-09-27 21:15:13 · 1103 阅读 · 0 评论 -
机器学习的一些注意事项
数据集分为训练集、交叉验证集、测试集。每个数据集的数据分布应该是相同的。 在数据量百万以下,训练集/测试集=7/3,训练集/交叉验证集/测试集=6/2/2。 如果数据量非常大,大于百万,则可以训练集/交叉验证集/测试集=98/1/1。交叉验证集(dev set):目的是用来调整模型参数。测试集的目的是:在模型训练完成,应用在实际系统前,评估一下模型的优劣,给自己增加自信心。一般来讲10,000训原创 2017-09-22 20:08:18 · 711 阅读 · 0 评论 -
深度学习第二课--图像识别与KNN
深度学习第二课–图像识别与KNN原创 2016-06-01 22:34:46 · 1667 阅读 · 0 评论 -
深度学习第三次课-梯度下降与反向传播
梯度下降损失函数可视化凸优化与最优化梯度下降反向传播梯度与偏导链式法则Sigmoid例子和公式推导原创 2016-06-01 21:57:26 · 5756 阅读 · 0 评论 -
深度学习第五课-训练注意事项与框架使用
说明:本文是七月算法5月深度学习班第五次课听课笔记。黄色标注的部分为自己不太确定的部分。训练mini-batch SGD神经网络使用mini-batch SGD训练得到最优权重。训练过程如下:(以下参考了andrew ng的机器学习课程)例如训练样本量m=3200,mini-batch 每次取32张for i = 1,33,65,...从i原创 2016-05-28 19:31:27 · 1865 阅读 · 1 评论 -
深度学习第一次课-数学
说明:本文是七月算法5月深度学习班第一次课听课笔记。只记录关键知识点,有些没具体展开。帮助复习用。文中使用了老师课件中的公式。微积分导数定义常用函数导数导数法则加法 乘法 除法 链式法则一元函数与多元函数一阶导 一元函数 f'(x) 多元函数原创 2016-05-28 20:54:45 · 1252 阅读 · 0 评论