开始奋斗的胖子-CSDN博客

原创【机器学习】关于注意力模型（Attention-model）的理解和应用

注意力模型是近年来在序列处理领域新提出的机器学习方法，在语言翻译等领域取得了不错的效果。要想了解注意力模型，那么必须对现在的机器学习各领域有一定的了解，而且要了解encoder-decoder基本思想。首先可以大致的概括下目前的机器学习尤其是深度学习的各个领域。图像方面，CNN当之无愧是绝对的主力，并且在各大公司的研究下仍然在发力。NLP（自然语言处理）方面，RNN型的网络仍然占多数，但是自从F...

2018-11-23 13:51:49 3226 1

原创【机器学习】PyTorch如何选择最优初始学习率

众所周知，机器学习尤其是现在的深度学习，大量的工作都集中在调参上。一个模型能否很好的解决问题，调参占了很大的比重。而学习率又是模型众多超参数中最重要和最容易调节的一个。1.什么是学习率目前深度学习优化的基本思想是梯度下降法，已经有很多优秀的且模块化的梯度下降算法可以直接使用，比如最常用的SGD、Adam和RMSProp等，所有这些算法都要求使用者设定学习率，因为每个特殊的问题都有一个不同的最优...

2018-11-23 13:49:40 4457

翻译【转】【译】How to Handle Very Long Sequences with LSTM（LSTM RNN 超长序列处理）

原文地址 http://machinelearningmastery.com/handle-long-sequences-long-short-term-memory-recurrent-neural-networks/一个长的输入序列却只对应一个或者一小段输出就是我们经常说的序列标注和序列分类。主要包括下面一些例子：包含上千个词的文件情感分类（NLP）包含上千个时间状态的脑电痕迹...

2018-07-27 09:02:15 1446

原创【机器学习】关于t-sne：降维、可视化

关于t-sne：降维、可视化机器学习中，我们的使用的数据基本都是高维的，所以我们很难直接从数据中观察分布和特征。因此出现了很多数据降维的手段帮助我们提取特征和可视化数据。这就是流行学习方法(Manifold Learning):假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。

2017-06-05 14:30:48 6997 1

原创【机器学习trick】Batch-Normalization的理解和研究

Batch-Normalization概述15年谷歌发表了一篇文章，名字是《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，文章介绍了一种新的深度学习算法，可以有效的提高模型的效率和精度。在介绍原理之前，首先要提一下关于数据分布的问题。我们在使用机器学习训练

2017-04-06 23:46:59 573

原创【机器学习】梯度下降算法分析与简述

梯度下降算法分析与简述梯度下降(gradient descent)是一种最优化算法，基于爬山法的搜索策略，其原理简单易懂，广泛应用于机器学习和各种神经网络模型中。在吴恩达的神经网络课程中，梯度下降算法是最先拿来教学的基础算法。梯度下降算法的基本原理要想找到某函数的最大值或者最小值，最迅速的方法就是沿着梯度的方向上升或者下降。梯度下降算法就是以目标的负梯度方向对参数进行调整，沿着目标函数J(x,y)的

2017-04-05 14:38:14 4385

原创基于深度学习的心电图分类

科研背景项目进度项目思考TodoList

2017-02-21 11:09:06 3634 7

转载 CSDN-markdown

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-02-21 10:37:09 201

LU的博客