Deep learning
文章平均质量分 73
MachineLP
成功收获成果,失败收获智慧,投入收获快乐!
展开
-
BERT可以使用无监督的预训练模型做文本相似度任务吗?
这个问题是个好问题, 也困扰了我好久,一般不熟悉的人会使用word2vector的思路考虑,那么这个问题显然是成立的,但是本质上是错的,不能这么去用。看一下大神们的回答:(1)先看一下苏神的: (大神说话就是硬气)看了楼主的问题,以及你在前面几个回答下的评论,发现你总是反复反问一个事情:取最后一层pool out效果差的原因是什么?我也来反问一个:你潜意识里觉得它会好的原因是什么?...原创 2020-03-12 19:10:11 · 2528 阅读 · 0 评论 -
Attention 待更新
Attention注意力机制可以描述为一个函数,这个函数将query和一组key-value对映射成一个输出。Scaled Dot-Porduct Attention原创 2020-02-25 16:40:44 · 223 阅读 · 0 评论 -
[中文语音识别后文本加标点] 文本数据增强方法
数据增强技术在很多领域应用广泛,例如:在图像领域中有:旋转、反转、噪声、mixup、cutmix等等;在语音识别领域有:语音信号添加随机背景噪声、语谱图随机mask等等......在文本领域也有很多方法:其中ICLR 2019 workshop论文《EDA: Easy Data Augmentation Techniques for Boosting Performance on Te...原创 2020-02-25 16:03:30 · 1607 阅读 · 2 评论 -
[中文语音识别后文本加标点] 维基百科数据下载和解析(xml->txt)
维基百科的中文语料库质量高、领域广泛而且开放,其每月会将所有条目打包供大家下载使用,可以点击: https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 直接下载最新版(也可以访问:https://dumps.wikimedia.org/zhwiki/ 获取历史版本)。1、维基百科数...原创 2020-02-21 14:56:23 · 2169 阅读 · 0 评论 -
[pytorch] 图像分类tricks (持续更新...)
data augmentationauto-augment:https://github.com/DeepVoltaire/AutoAugment/blob/master/autoaugment.pyfast-autoaugment:https://github.com/kakaobrain/fast-autoaugmentaugmix:https://github.com/goog...原创 2020-02-07 22:13:45 · 660 阅读 · 0 评论 -
[pytorch] 图像识别之augmix
augmix:https://github.com/google-research/augmix论文:https://arxiv.org/abs/1912.02781效果展示:使用方法:import augmentationsimport numpy as npfrom PIL import Imagedef apply_op(image, op, severity...原创 2020-02-07 22:11:33 · 2286 阅读 · 0 评论 -
[pytorch] 图像识别之GridMask
GridMask:https://arxiv.org/abs/2001.04086albumentations:https://github.com/albumentations-team/albumentationskaggle的qishenha大佬分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128592。...原创 2020-02-07 21:51:39 · 2066 阅读 · 3 评论 -
[pytorch] 图像识别之mixup/cutout/Margin loss....简单实现
本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128592Mixupfrom torchtoolbox.tools import mixup_data, mixup_criterionalpha = 0.2for i, (data, labels) in enumerate(train_data...原创 2020-02-07 21:41:18 · 4546 阅读 · 1 评论 -
[pytorch] 图像识别之label smoothing (+mixup/cutmix)
本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128115def onehot_encoding(label, n_classes): return torch.zeros(label.size(0), n_classes).to(label.device).scatter_( 1...原创 2020-02-07 21:37:30 · 1851 阅读 · 0 评论 -
[pytorch] 图像识别之focal loss (+ohem)
本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128665import torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.autograd import Variabledevice = torch.device...原创 2020-02-07 21:34:58 · 860 阅读 · 0 评论 -
[pytorch] 图像识别之ohem loss (+mixup/cutmix)
本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128637def ohem_loss( rate, cls_pred, cls_target ): batch_size = cls_pred.size(0) ohem_cls_loss = F.cross_entropy(cls_pred...原创 2020-02-07 21:32:24 · 1653 阅读 · 0 评论 -
[pytorch] 图像识别之mixup/cutmix
本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/126504效果图: (目标检测中)代码如下:def rand_bbox(size, lam): W = size[2] H = size[3] cut_rat = np.sqrt(1. - lam) cut_w = ...原创 2020-02-07 21:28:48 · 3098 阅读 · 0 评论 -
MachineLP好文推荐
MachineLP:其实事物发展有自己的潮流和规律,当你身处潮流之中的时候,要紧紧抓住潮流的机会,想办法脱颖而出,即使没有成功,也会更加洞悉时代的脉搏,收获珍贵的知识和经验。而如果潮流已经退去,这个时候再去往这个方向上努力,只会收获迷茫与压抑,对时代、对自己都没有什么帮助。但是时代的浪潮犹如海滩上的浪花,总是一浪接着一浪,只要你站在海边,身处这个行业之中,下一个浪潮很快又会到来。你需要敏感而...原创 2019-11-02 10:22:37 · 903 阅读 · 0 评论 -
Theano学习笔记(三)——图结构
图结构(Graph Structures)是了解Theano内在工作原理的基础。Theano编程的核心是用符号占位符把数学关系表示出来。 图结构的组成部分如图实现了这段代码:[python] view plain copyimporttheano.tensor as T x= T.matrix('x')转载 2016-09-23 21:52:39 · 1159 阅读 · 0 评论 -
隐马尔科夫模型(HMM)及其实现
马尔科夫模型马尔科夫模型是单重随机过程,是一个2元组:(S,A)。其中S是状态集合,A是状态转移矩阵。只用状态转移来描述随机过程。 马尔科夫模型的2个假设有限历史性假设:t+l时刻系统状态的概率分布只与t时刻的状态有关,与t时刻以前的状态无关;齐次性假设:从t时刻到t+l时刻的状态转移与t的值无关。 以天气模型为例天气转载 2016-09-23 22:13:36 · 922 阅读 · 0 评论 -
C++卷积神经网络实例:tiny_cnn代码详解(8)——partial_connected_layer层结构类分析(上)
在之前的博文中我们已经将顶层的网络结构都介绍完毕,包括卷积层、下采样层、全连接层,在这篇博文中主要有两个任务,一是整体贯通一下卷积神经网络在对图像进行卷积处理的整个流程,二是继续我们的类分析,这次需要进行分析的是卷积层和下采样层的公共基类:partial_connected_layer。 一、卷积神经网络的工作流程 首先给出经典的5层模式的卷积神经网络LeNet-5结构模型:转载 2016-09-02 14:50:31 · 2542 阅读 · 1 评论 -
Autoencoder的C++代码(带注释)。
#include "stdafx.h"#include #include "math.h"using namespace std;double d = 0.4;// sigmoid函数double function_g(double x){ // e的x次幂 double ex = pow(2.718281828,x); return ex/(1+ex);}// 自原创 2016-04-30 20:48:42 · 1403 阅读 · 0 评论 -
Theano:LSTM源码解析
Code: here.最难读的Theano代码这份LSTM代码的作者,感觉和前面Tutorial代码作者不是同一个人。对于Theano、Python的手法使用得非常娴熟。尤其是在两重并行设计上:①LSTM各个门之间并行②Mini-batch让多个句子并行同时,在训练、预处理上使用了诸多技巧,相比之前的Tutorial,更接近一个完整的框架,所以导致代码阅读十分困难。转载 2016-03-20 18:39:45 · 2973 阅读 · 0 评论 -
神经网络模型算法与生物神经网络的最新联系
来源偶然翻了一下微博,发现了@爱可可-爱生活老师转的,Hinton教授今年六月末在剑桥的一个讲座。视频度娘链接:http://pan.baidu.com/s/1eQjj0rS整个讲座前半部分基本在回顾DL目前的几个成就:RBM、DNN、CNN、RNN、Dropout以及在CV、NLP、Speech方面的应用,这部分没什么可在意的。有趣的是,Hinton在中间插了一段对自转载 2016-03-20 09:49:15 · 6091 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras
从这篇开始介绍Keras的Layers,就是构成网络的每一层。Keras实现了很多层,包括核心层、卷基层、RNN网络层等诸多常用的网络结构。下面开介绍核心层中包含了哪些内容。因为这个核心层我现在还没有全部用到,所以会有一部分内容我并不是十分了解,因此直接附带了原文档介绍。希望有了解的博友指点一二。一、核心层基类[python] view plain copy转载 2016-03-20 09:04:52 · 1744 阅读 · 0 评论 -
LSTM实现详解
前言在很长一段时间里,我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂,而且在此之前我从来没有使用它们做过任何东西。在互联网上快速搜索并没有什么帮助,因为我找到的都是一些幻灯片。幸运地是,我参加了Kaggle EEG 竞赛,而且我认为使用LSTM很有意思,最后还理解了它的工作原理。这篇文章基于我的解决方案,使用的是Andrej Karpathy的char-rnn代转载 2016-03-19 13:57:53 · 4288 阅读 · 0 评论 -
CNN卷积神经网络新想法
最近一直在看卷积神经网络,想改进改进弄出点新东西来,看了好多论文,写了一篇综述,对深度学习中卷积神经网络有了一些新认识,和大家分享下。 其实卷积神经网络并不是一项新兴的算法,早在上世纪八十年代就已经被提出来,但当时硬件运算能力有限,所以当时只用来识别支票上的手写体数字,并且应用于实际。2006年深度学习的泰斗在《科学》上发表一篇文章,论证了深度结构在特征提取问题上的潜在实力,从而掀起了深转载 2016-03-18 09:32:12 · 1107 阅读 · 0 评论 -
PCANet中PCA算法为什么没有起到降维的作用?
最近在研究深度学习中的PCANet,这是由国内深度学习方面的一些技术大牛提出的一个简洁的深度学习框架,然后在调试运行源代码的时候发现一个有趣问题,就是其中的PCA算法并没有对图片矩阵起到降维的作用。 举个例子,假设我们已经训练好了PCANet的滤波器矩阵,我们的输入图像设置为64*64,经过PCANet的映射之后(核心就是主成分映射),输出的矩阵仍为64*64,如图:转载 2016-03-18 09:31:22 · 1839 阅读 · 6 评论 -
《PCANet: A Simple Deep Learning Baseline for Image Classification》中文翻译总结
PCANet可谓是国内技术大牛新提出的一种新的深度学习框架,为了方便大家研究,在此将其摘要、引言、基本原理介绍等三部分的内容进行了翻译,不过并非原文直译,会加上一点我自己的理解,次要部分也会一笔带过。如果大家不介意,可以去阅读原版的英文文档。 摘要 在这篇文章中,我们提出了一个很简洁的关于图像分类的深度学习框架,这个框架主要依赖几个基本的数据处理方法:1)主成分分析PCA。2)转载 2016-03-18 09:30:21 · 1831 阅读 · 0 评论 -
有关深度学习领域的几点想法
今天早上吃完饭,在去往实验室的路上,脑袋了突然冒出一个奇怪的想法,就是万一将来有机会去心仪神往的百度、阿里这些深度学习的尖端企业去工作的话,人家公司的HR问我“既然你是做DeepLearning研究的,那你对深度学习有什么个人体会?”,我该怎么说呢? 不要觉得自己将来进不了百度、进不了阿里,一切皆有可能,因此为了这一丢丢的可能性,我就在食堂去往实验室的路上,用这二十分钟的时间稍稍把自己脑转载 2016-03-18 09:02:18 · 1817 阅读 · 0 评论 -
类脑计算与神经网络加速
今天花了一下午时间看了一期计算机学会通讯的杂志,这期的专题是《类脑计算》,正好与我目前研究的深度学习有很大的关联,看完这期杂志之后得到了不少感悟,在这里稍作总结。当然首先给出这期杂志的地址:《类脑计算》 一、导言 首先,看完杂志之后的一个最大的感触就是“一个人的眼界很重要”。为什么这么说呢,作为一个算法研究人员,我们每天都在看论文,去搜寻别人提出的方法,从本质上讲这就是有一个扩转载 2016-03-18 08:45:29 · 2372 阅读 · 0 评论 -
Understanding LSTM Networks
Posted on August 27, 2015Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding转载 2016-03-17 21:12:04 · 1475 阅读 · 0 评论 -
RNN-RBM 网络架构及程序解读
对RNN-RBM代码的部分解析:from __future__ import print_functionimport globimport osimport sysimport numpytry: import pylabexcept ImportError: print ("pylab isn't available. If you use its func原创 2016-03-17 12:59:18 · 3856 阅读 · 1 评论 -
循环神经网络(RNN, Recurrent Neural Networks)介绍
循环神经网络(RNN, Recurrent Neural Networks)介绍 循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是,目前网上与RNNs有关的学习资料很少,因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对转载 2016-03-15 15:02:29 · 2956 阅读 · 1 评论 -
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
首先,我感觉不必像 @李Shawn 同学一样认为DNN、CNN、RNN完全不能相提并论。从广义上来说,NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中,所谓的深度神经网络DNN,往往融合了多种已知的结构,包括卷积层或是LSTM单元。但是就题主的意思来看,这里的DNN应该特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。因此,题主一定要将DNN、CNN转载 2016-03-06 16:30:00 · 3539 阅读 · 2 评论 -
深度学习用于图片的分类和检测总结
1. CNN用于分类:具体的过程大家都知道,无非是卷积,下采样,激活函数,全连接等。CNN用于分类要求它的输入图片的大小是固定的(其实不单单是CNN,很多其它的方法也是这样的),这是它的一个不足之处之一。目前的大部分CNN都是用来做分类比较多。2. CNN用于检测:主要的方法有两种,细分一下有三种,第一种最为简单和暴力的,通过滑动窗口的方法,提取一个固定大小的图像pat转载 2015-11-28 18:35:23 · 1140 阅读 · 0 评论 -
系列解读Dropout
本文转载自:http://blog.csdn.net/shuzfan/article/details/50580915本文主要介绍Dropout及延伸下来的一些方法,以便更深入的理解。想要提高CNN的表达或分类能力,最直接的方法就是采用更深的网络和更多的神经元,即deeper and wider。但是,复杂的网络也意味着更加容易过拟合。于是就有了Dropout,大部分实验表明其具有转载 2016-09-30 15:19:29 · 983 阅读 · 0 评论 -
Google开源项目word2vec的分析
同学可以移步到这位同学的blog去看更细致的分析深度学习word2vec笔记之基础篇这个答案是两年前写的,当时只读了下代码没有深入的去使用和研究,有些地方理解的还不深,写的很不好。当时自己主要是搞不明白h-softmax,所以大部分时间在想如何解释h-softmax,但现在看来,许多同学还不明白这个模型本身,我这个note里连模型的优化目标都没贴。最近我又重新回顾了转载 2016-11-18 10:31:52 · 2404 阅读 · 0 评论 -
YOLO
YOLO核心思想:从R-CNN到Fast R-CNN一直采用的思路是proposal+分类 (proposal 提供位置信息, 分类提供类别信息)精度已经很高,但是速度还不行。 YOLO提供了另一种更为直接的思路: 直接在输出层回归bounding box的位置和bounding box所属的类别(整张图作为网络的输入,把 Object Detection 的问题转化成一个 Regressio原创 2017-03-04 10:29:07 · 7452 阅读 · 0 评论 -
TensorFlow 聊天机器人
上一次提到了不错的学习聊天机器人的资源,不知道小伙伴们有没有去学习呢。自己动手做聊天机器人教程我最近每天都会学一点,拿出解读来和大家分享一下。本文结构:聊天机器人的架构简图用 TensorFlow 实现 Chatbot 的模型如何准备 chatbot 的训练数据Chatbot 源码解读1. 聊天机器人的架构简图原创 2017-02-26 22:15:50 · 4959 阅读 · 1 评论 -
用 TensorFlow 创建自己的 Speech Recognizer
参考资料源码请点:https://github.com/llSourcell/tensorf...语音识别无处不在,siri,google,讯飞输入法,讯飞语记,智能家居,车,etc。每天都在用的,很好奇它是怎么实现的,今天来看看这么便利的东东到底是什么样子呢。进化史最开始的 speech recognizer 只能识别 0-9 这几个数字,说别的单词是原创 2017-02-06 09:11:57 · 14776 阅读 · 6 评论 -
卷积神经网络(CNN):从原理到实现
1.前言(1)神经网络的缺陷在神经网络一文中简单介绍了其原理,可以发现不同层之间是全连接的,当神经网络的深度、节点数变大,会导致过拟合、参数过多等问题。(2)计算机视觉(图像)背景通过抽取只依赖图像里小的子区域的局部特征,然后利用这些特征的信息就可以融合到后续处理阶段中,从而检测更高级的特征,最后产生图像整体的信息。距离较近的像素的相关性要远大于距离较远像素的相关性原创 2017-02-04 20:04:41 · 10399 阅读 · 4 评论 -
反向传播与它的直观理解
问题描述与动机:大家都知道的,其实我们就是在给定的图像像素向量x和对应的函数f(x),然后我们希望能够计算f在x上的梯度(∇f(x))我们之所以想解决这个问题,是因为在神经网络中,f对应损失函数L,而输入x则对应训练样本数据和神经网络的权重W。举一个特例,损失函数可以是SVM loss function,而输入则对应样本数据(xi,yi),i=1…N和权重W以及偏移原创 2017-01-25 11:00:58 · 4985 阅读 · 0 评论 -
Keras - 一个基于 Theano 的深度学习 Python 库
Keras is a minimalist, highly modular neural network library in the spirit of Torch, written in Python / Theano so as not to have to deal with the dearth of ecosystem in Lua. It was developed with a f原创 2016-03-20 09:02:11 · 1913 阅读 · 0 评论 -
人脸识别keras实现教程
人脸识别keras实现教程:http://www.cnblogs.com/neo-T/p/如果帮到你了,请赞赏支持:原创 2017-07-04 16:14:01 · 5215 阅读 · 0 评论