深度学习
HxShine
这个作者很懒,什么都没留下…
展开
-
序列标注ner原理,CRF作用以及transformers ner使用
1.参考Pre-Training with Whole Word Masking for Chinese BERT(中文BERT-wwm系列模型)https://github.com/ymcui/Chinese-BERT-wwmTransformers: State-of-the-art Natural Language Processing for TensorFlow 2.0 and P...原创 2020-04-25 00:11:58 · 6765 阅读 · 2 评论 -
深度学习图像分割整理
1 综述Semantic Segmentation using Fully Convolutional Networks over the years Jun 1, 2017https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmen...原创 2018-08-22 18:05:30 · 3234 阅读 · 1 评论 -
pytorch 查看模型参数,查看模型特定层输入输出,模型结构图绘制总结
1 参考链接大杂烩 https://zhuanlan.zhihu.com/p/33992733绘制图形时候记得安装graphviz插件 https://stackoverflow.com/questions/35064304/runtimeerror-make-sure-the-graphviz-executables-are-on-your-systems-path-aft画模型...原创 2018-08-23 15:18:18 · 23838 阅读 · 2 评论 -
反卷积网络的棋盘格现象
https://distill.pub/2016/deconv-checkerboard/1 现象通过神经网络生成的图片,放大了看会有棋盘格的现象2 分析混叠现象造成的,反卷积时,到stride和ksize 不能整除时,就会有这种现象,二维图像的时候更显著。神经网络虽然能学习,可以抵消一部分现象,但是会造成这个模型不鲁棒。常见的有三种方法上采样,反卷积,nn插值,双线...原创 2018-09-09 15:35:32 · 3693 阅读 · 0 评论 -
图像分割 dice overlap jaccard Intersection over union区别
1 介绍Dicehttps://en.wikipedia.org/wiki/Sørensen–Dice_coefficient交集*2 除以 (并集+交集),最小为0,最大为1jaccard交集 除以 并集,最小为0,最大为1Overlap交集 除以 最小的那个面积,最小为0,最大为0Intersection over Union (IoU)true ...原创 2018-09-18 17:44:20 · 8020 阅读 · 3 评论 -
pytorch 如何选择合适的学习率(翻译)
1.思想好的学习率,那么loss应该要下降的很快,那么可以绘制处学习率和loss的函数。例如:此时,该如何选学习率呢?选10^-2可以使训练的比较快,并且不会使梯度爆炸,10^-1可能已经太大了。2.算法假设初始lr为10^-8,最大为10,共测试N step,那么我们可以记录每经过一个step的lr和loss,其中,每次lr增加q:loss,把它平滑一下:实现代码如下:...翻译 2018-10-31 19:45:48 · 3083 阅读 · 0 评论 -
centos docker 安装
1.安装docker ce(免费版)https://docs.docker.com/install/linux/docker-ce/centos/#uninstall-old-versions#### 1.1 卸载旧版本并准备环境sudo yum remove docker \ docker-client \ docke...原创 2018-11-21 16:43:00 · 291 阅读 · 0 评论 -
keras cnn以及lstm测试
1.cnn测试import numpy as npimport kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Flattenfrom keras.layers import Conv2D, MaxPooling2Dfrom keras.optimizers import ...原创 2018-12-12 14:56:44 · 2122 阅读 · 0 评论 -
lstm理解与使用(pytorch为例)
一.lstm原理可以详读:Understanding LSTM Networkshttp://colah.github.io/posts/2015-08-Understanding-LSTMs/1.结构图2.公式-遗忘门,决定哪些东西被遗忘:输入门,决定状态Cell里面的更新:输出门,决定t时刻的输出:其中,ht−1h_{t-1}ht−1为上个时间节点t-1时刻的输出,...原创 2018-12-05 23:35:34 · 54324 阅读 · 0 评论 -
Dureader数据集分析
paper链接:https://arxiv.org/pdf/1711.05073.pdf1.分布来自:https://zhuanlan.zhihu.com/p/364151042.dureader的答案是来自于原文的修改,而不只是原文,以编辑距离来衡量。3.对yes or no 问题的效果在bleu和rouge评价指标下反而效果不怎么好。4.实际数据格式4.1 descripti...转载 2019-03-10 13:35:21 · 3966 阅读 · 0 评论 -
paddlepaddle百度飞浆使用体验一
1 使用目的最近有在做一些中文nlp的东西,总感觉国外的东西资源不是特别好找,飞浆在这方面应该还是有优势的,所以决定体验一发。2 资源文档:https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/quick_start_cn.html官网:https://www.paddlepaddle.org....原创 2019-07-16 22:55:21 · 3523 阅读 · 1 评论 -
paddlepaddle百度飞浆使用体验二----中文文本分类
1 相关链接ERNIE代码:https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE2 具体使用2.1 使用步骤下载数据:下载模型(含配置文件及词典)以及任务数据。解压模型和任务数据,开始训练,执行bash script/run_ChnSentiCorp.sh,附上修改后的run_ChnSentiCorp.shset -e...原创 2019-07-20 10:19:51 · 2801 阅读 · 0 评论 -
Zero-Shot-Detection资料总结以及学习
1 概览1.1 目标检测纯图像问题1.2 Zero-Shot Learning通过辅助数据将知识从看到的类转移到看不见的类来实现的,辅助数据通常可以从文本源轻松获得,也就是从word embedding来获取。1.3 Zero-Shot Detection现有的ZSL方法主要关注分类问题。 虽然零镜头对象检测(ZSD)任务旨在识别和本地化没有训练样例的对象类的实例,但纯粹基于描述类特征...原创 2019-08-24 11:42:59 · 1065 阅读 · 1 评论 -
pytorch 可视化
1.利用tnthttps://github.com/pytorch/tnt/blob/master/example/mnist_with_visdom.py#L92.启用visdonpython -m visdom.server -port 8097 &3.加log就可以看了,比tensorboard感觉还简单,虽然界面看起来还比较简陋 port = 8097...原创 2018-08-15 20:51:15 · 1921 阅读 · 1 评论 -
pytorch 分类网络使用
1.基本框架https://github.com/chenyuntc/pytorch-best-practice2.tnt记录https://github.com/pytorch/tnt3.loss函数import torchimport torch.nn as nnfrom torch.autograd import Variableimport tor...原创 2018-08-15 20:23:16 · 1260 阅读 · 0 评论 -
Tensorflow学习记录10--tensorboard的使用
1 简介tensorboard可以追踪loss以及accuracy的变化,追踪参数值w以及b的变化,以及可以显示卷积过程中的图像等等。2 使用方式1 首先标记要记录的参数图像,值以及变量:#图像tf.image_summary(tag, tensor, max_images=3, collections=None, name=None)#值tf.scalar_summary(tags, val原创 2017-02-07 23:56:01 · 6541 阅读 · 2 评论 -
Tensoflow学习记录12--resnet网络
综述前面俩小节已经讲了经典的alex-net和vgg网络,vgg-net在alex网络的基础上,测试了很多种加深网络的方式,得到了vgg16和vgg19最后的结果还不错,但是后来人们发现,在网络深度到达一定程度后,继续加深网络,会有俩个问题,一个是太远了,梯度消失,即数据分散在不再被激活的那个区域导致梯度为0消失了,这个可以通过norimalized核intermediate narmalizati原创 2017-02-09 02:41:38 · 2147 阅读 · 0 评论 -
Tensoflow学习记录13--用深度学习来做图像分割Fully Convolutional Networks for Semantic Segmentation (FCNs)
1 文章及其地址 Fully Convolutional Networks for Semantic Segmentation (FCNs) http://arxiv.org/pdf/1605.06211v1.pdf2 总述感觉就是在vgg网络的基础上,将最后三层全连接改为cnn,即全都为卷积层了,fully convolutional networks,然后再反卷积,使输出与原始图像一致,这原创 2017-02-21 10:48:26 · 6758 阅读 · 10 评论 -
Tensorflow学习记录10--VGG网络
点我下载paper1 VGG网络总结感觉就是再alex-net的基础上,研究了下如何加深网络来提高性能的。总体上也是五层卷积加上三层全链接,但是这五层卷积中都会以pooling来分割,且五层卷积尝试叠加多层卷积再一起,并且尝试以更小的核以及提高核的数量来提高网络的性能,比如alex-net的核的大小为11×11×96不等,vgg网络一般都是用3×3的核,但是她核的数量提高了很多,有3×3×256不等原创 2017-02-02 20:47:30 · 13191 阅读 · 0 评论 -
1 docker环境使用tensorflow以及jupyter notebook的使用
1 docker一些介绍注(92服务器上已经配置好docker,但是需要sudo命令才能运行) 这俩篇文章介绍了docker大概是怎么玩的。 大白话Docker入门(一) https://www.atatech.org/articles/65782#6 大白话Docker入门(二) https://www.atatech.org/articles/65863基本使用的话,了解这些应该差不多原创 2017-03-21 20:59:14 · 9951 阅读 · 0 评论 -
keras使用
1数据http://pan.baidu.com/s/1qCdS6 来自http://blog.csdn.net/u012162613/article/details/453970332 keras使用(jupyter notebook)参考: https://elitedatascience.com/keras-tutorial-deep-learning-in-python#step-4mni原创 2017-04-12 21:27:55 · 1654 阅读 · 0 评论 -
反卷积(转置卷积)总结
1 反卷积就是卷积,只是中间padding了下,然后再做卷积。 这里有个动态图,transposed就是代表反卷积(转置卷积) https://github.com/vdumoulin/conv_arithmetic 算法实现上也是先padding然后卷积 2 数学形式 卷积可以转化为一副图像与一个矩阵C的乘积。 反卷积(转置卷积)只是正向时左乘C^T,而反向时左乘(C^T)^T。 h原创 2017-05-11 22:51:09 · 27798 阅读 · 0 评论 -
显卡内存一直被占用解决方式
lsof /dev/nvidia* kill相应pid http://stackoverflow.com/questions/4354257/stop-all-cuda-processes-in-linux-without-restarting-the-computer原创 2017-05-12 13:23:06 · 6383 阅读 · 0 评论 -
pytorch 使用
1 DataParallelfrom torch.nn import DataParallelnet = DataParallel(net)可以实现模块级别(?好处具体是啥不大懂)的并行计算,可以将一个模块forward部分分到各个gpu去计算,然后backwards时,合并gradients 到original module。 >>> net = torch.nn.DataParallel原创 2017-05-20 11:08:49 · 3735 阅读 · 0 评论 -
2 图像分割 评价指标
1 pixel accuracy (PA,像素精度) 就是 每一类像素,正确分类的像素的个数 的和 / 每一类像素的实际的像素的个数之和。 2 mean pixel accuracy (MPA, 均像素精度) 每一类像素的精度的平均值,即先求出每一类像素的PA,然后再取平均值。 3 Mean Intersection over Union(MIoU, 均交并比) 反正就是交集除以并集然后...原创 2018-04-17 23:04:16 · 11702 阅读 · 3 评论 -
1 深度学习图像分割
1 一些比较成熟的深度学习分割paper https://github.com/albarqouni/Deep-Learning-for-Medical-Applications#segmentation2 分割算法回顾这个不错 https://www.leiphone.com/news/201801/vV9tk5kK95g0spUG.html印象深刻的是膨胀卷积或带洞卷积(Dilated Co原创 2018-05-10 14:36:39 · 1799 阅读 · 0 评论 -
2d图像分割总结
2d图像分割总结1 Carvana Image Masking Challenge–1st Place Winner’s Interview汽车分割比赛第一名博客记录: 作者做过很多分割任务,Alexander 利用了一个非unet的网络,然后居然效果比较好,内存也占的很低,更快精度更高,他就入坑了。Train set: 5088 Images. Test set: 1200 ...原创 2018-05-16 23:21:19 · 2337 阅读 · 0 评论 -
1 神经网络反向传播算法推导流程
下面这俩篇文章不错Back-propagation, an introduction1 why 反向传播算法? 1.神经网络损失函数是什么? 2.怎样通过损失函数来更新模型参数,即w,b? 3.重点是如何求损失函数对每一层w,b的导数,假如很多层,如何计算更有效? 4.更新的表达式是什么? 2 反向传播算法的优点?通过下一层的参数更新值来求这一层的更新值,加快求导过程,即原创 2017-01-03 10:10:54 · 1163 阅读 · 0 评论