AI
文章平均质量分 78
skyfengye
研究机器学习,图像处理,图形处理的小菜鸟
展开
-
权值衰减和L2正则化是一回事吗?
我们在神经网络的训练中经常会遇到权重衰减和正则化这两个概念。尤其是L2正则化,它跟权重衰减是不是一回事。我在这篇文章得到了解释Weight Decay == L2 Regularization?正则化正则化可以定义为我们为了减少泛化误差而不是减少训练误差而对训练算法所做的任何改变。有许多正规化策略。有的对模型添加额外的约束,如对参数值添加约束,有的对目标函数添加额外的项,可以认为是对参数值添加间接或软约束。如果我们仔细使用这些技术,这可以改善测试集的性能。在深度学习的环境中,大多数正则化技术都基于正原创 2021-01-08 10:51:18 · 555 阅读 · 1 评论 -
maxpooling 和步长为2的卷积
现阶段大家在分割网络或者其他网络中对于maxpooling 的使用越来越少了,大家都开始都使用步长为2的卷积了。这个问题一开始我也没有在意,我一开始在进行分割时还是使用了maxpooling的方法,然后在后面使用resnet50等作为新的backbone的时候,我才发现大家现在maxpooling 越来越少了。然后我调研了一下,发现也有人研究过这个问题了。然后我看到这篇文章CNN真的需要下采样(上采样)吗?这里对这个问题进行了分析。这篇文章最后的结论是这样:从工程的角度看,采样能极大减小fea.原创 2020-09-07 10:33:21 · 4546 阅读 · 0 评论 -
关于ResNet 网络的一些思考和看法
resnet 现在在深度学习上面已经成了一个很成熟的神经网络结构了。现在许多学习任务基本都是用resnet来做backbone做各种任务。说起resnet大家的第一映像是什么?是不是就是那一根跳跃连接的线图1。如果再问你一下为什么加这根线呢?研究深的人也许会说这是为了解决梯度消失/爆炸的问题。最后大家都会说了解到这里基本就够了,会用就行了。如果 现在跟你说你的理解错了,你会怎么说,你会说这不可能。...原创 2020-05-01 17:53:42 · 4616 阅读 · 3 评论 -
视网膜分支动脉阻塞分割框架
因为疫情的原因,到现在还么有去院里正式工作,在家里老师也催着我写研究方案,最近看到一篇论文是讲视网膜分支动脉阻塞分割的。论文题目是 “A Framework for Classification and Segmentationof Branch Retinal Artery Occlusion in SD-OCT”。我看了一下发现这个视网膜动脉分割的水挺深的,原以为也是跟普通的医学图像分割一样,...原创 2020-02-22 16:21:13 · 615 阅读 · 0 评论 -
adaptive pooling keras 实现。
今天看论文时,看到一篇语义分割的文章,发现作者使用了一个adaptive average pooling的pooling 操作。一看这个怎么还没有见过。然后百度一搜发现这是pytroch 独有的一个pooling 操作。我平时一般使用的是keras.看了一下这个原理,发现它是知道输出大小再进行pooling 池化的操作。我们平时一般使用的池化操作一般都是定义 kerne_size ,str...原创 2019-11-06 16:53:13 · 2224 阅读 · 4 评论 -
keras 训练是 各种loss 变化情况
在使用keras 训练网络时,虽然网络设计好了,数据也加载进去了,但是发现训练时候总是出现各种各种稀奇古怪的问题。我在这里就列举几个常见的问题。供大家参考一下。当val_loss曲线或val_acc曲线震荡不平滑时的原因可能如下:1 学习率可能太大2 batch size太小3 样本分布不均匀4 缺少加入正则化大家可以在这几个方面去进行调整,一步一步的调整,先调整学习率,然后再...原创 2019-10-11 16:40:23 · 3985 阅读 · 0 评论 -
deep_learning_object_detection 深度学习目标检测学习
整个基于深度学习的目标检测 学习过程都可以按这个进程来学习。图片出处deep_learning_object_detection。大家可以去看看里面有更为详细的介绍。还有上面文献的下载链接。...原创 2019-01-22 15:51:30 · 626 阅读 · 0 评论 -
Linux下Anaconda的安装并且安装keras和tensorflow
实验室最近买了一个服务器,又需要重新安装 keras 和tensorflow 之类的深度学习框架。所以我就简单的写一下安装的步骤。实验室里安装的是linux 18.08.里面的python 默认版本是2.7的。但是现在基本都是3.6.x的版本了。因此我选择了anaconda 来进行操作。先下载对应版本的ancaconda .到官网下载对应的版本文件:anaconda 官网下载好了以...原创 2019-01-05 17:07:03 · 2021 阅读 · 0 评论 -
什么是 模型超参数。
我们在学习神经网络中经常听到大佬们说,超参数调整之类的话。对于小白来说什么叫超参数和普通的参数有什么区别呢。也不好意思问大佬们这些名词到底是啥函数。所以在网上找一下。参考以下网页参数和超参数什么是模型参数简单来说,模型参数就是模型内部的配置变量,可以用数据估计它的值。具体来讲,模型参数有以下特征: 进行模型预测时需要模型参数。 模型参数值可以定义模型功能。 模...原创 2018-09-26 16:16:42 · 6183 阅读 · 0 评论 -
keras +tensorflow 出现FutureWarning: Conversion of the second argument 错误。
在使用keras时出现 FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`. from ._...原创 2018-05-17 16:07:41 · 714 阅读 · 1 评论 -
python 3.6中 keras中查看各类版本号和tensorflow快速更新操作。
查看keras版本查看 tensorflow 版本keras 更新pip install --upgrade keras原创 2018-05-17 10:49:32 · 29707 阅读 · 5 评论 -
基于深度学习的图像分割总结
参考 A Review on Deep Learning Techniques Applied to Semantic Segmentation原创 2018-04-24 15:57:42 · 3190 阅读 · 0 评论 -
TP, TN, FP FN
表示分类正确:True Positive(TP):本来是正样例,分类成正样例。True Negative(TN):本来是负样例,分类成负样例。表示分类错误:False Positive (FP):本来是负样例,分类成正样例,通常叫误报。False Negative(FN):本来是正样例,分类成负样例,通常叫漏报。score值 即各个样本属于正例的概率Dice Similarity Co...原创 2018-04-23 15:13:49 · 7849 阅读 · 2 评论 -
图像风格迁移 (Neural Style)用 Keras简单实践。
前段时间在使用keras 实现一些比较有趣的神经网络的项目,其中看到了一个有趣的是使用了卷积神经网络进行了图像风格的迁移。 其整体效果如下 把这两幅画的整体风格进行简单的变换。 下面的是进行了3次迭代后的效果。由于我是使用了笔记本电脑进行跑的,也没有进行多次迭代只是进行了几次迭代,只是做一个简单的演示。具体效果可以看keras 里面有相关的整体的效果。 这里简单说一下,整个卷积神经网络原创 2018-03-08 20:40:07 · 4197 阅读 · 1 评论 -
python实现人脸实时监控识别程序 face_recognition
最近在发现一个很好的人脸识别的API 接口 face_recognition可以很方便的用python实现一个实时监控人脸的程序。 先介绍一下这个API接口。这是一个可以通过python或者命令行即可实现人脸识别的功能的人脸识别的库。 安装配置,在我电脑上面安装比较容易,我直接使用了代码pip install face_recognition我python版本是3.6,在win10 64 位原创 2017-12-08 21:32:28 · 8325 阅读 · 6 评论