![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
Geeksongs
AIGC连续创业者,全栈开发者。不惜一切代价,一切手段推动人类科技进步是我的终极目标。最想实现的是强人工智能,通过脑机接口和基因编辑实现人类永生。
展开
-
Pytorch如何约束神经网络中权重/偏置的范围
方法一:首先编写模型结构:class Model(nn.Module): def __init__(self): super(Model,self).__init__() self.l1=nn.Linear(100,50) self.l2=nn.Linear(50,10) self.l3=nn.Linear(10,1)...原创 2022-02-04 22:04:00 · 6143 阅读 · 6 评论 -
【图像分割】:使用全卷积神经网络FCN,进行图像语义分割详解(附代码实现)...
一.导论在图像语义分割领域,困扰了计算机科学家很多年的一个问题则是我们如何才能将我们感兴趣的对象和不感兴趣的对象分别分割开来呢?比如我们有一只小猫的图片,怎样才能够通过计算机自己对图像进行识别达到将小猫和图片当中的背景互相分割开来的效果呢?如下图所示:而在2015年出来的FCN,全卷积神经网络完美地解决了这个问题,将曾经mean IU(识别平均准确度)只有百分之40的成绩提升到了...原创 2020-07-24 17:02:00 · 2547 阅读 · 0 评论 -
【深度学习】:梯度下降,随机梯度下降(SGD),和mini-batch梯度下降
一.梯度下降梯度下降就是最简单的用于神经网络当中用于更新参数的用法,计算loss的公式如下:有了lossfunction之后,我们立马通过这个loss求解出梯度,并将梯度用于参数theta的更新,如下所示:这样做之后,我们只需要遍历所有的样本,就可以得到一个最终的参数theta了,这个参数可能是全局最小值,也可能不是,因为很有可能走入了一个loss的局部最小值当中...原创 2020-08-09 16:42:00 · 1090 阅读 · 0 评论 -
【深度学习】:小白也能看懂的卷积神经网络
小编在市面看了很多介绍计算机视觉的知识,感觉都非常深奥,难以理解和入门。因此总结出了一套容易理解的教程,希望能够和大家分享。一.人工神经网络人工神经网络是一种模拟人脑构建出来的神经网络,每一个神经元都具有一定的权重和阈值。仅有单个神经元的图例如下所示:从中可以看到每一个神经元具有一个输入Input Layer,一个输出Ouput Layer。一般情况下,Input Lay...原创 2020-08-09 15:11:00 · 1060 阅读 · 0 评论 -
【深度学习】:一文入门Dropout层
Dropout层在神经网络层当中是用来干嘛的呢?它是一种可以用于减少神经网络过拟合的结构,那么它具体是怎么实现的呢?假设下图是我们用来训练的原始神经网络:一共有四个输入x_i,一个输出y。Dropout则是在每一个batch的训练当中随机减掉一些神经元,而作为编程者,我们可以设定每一层dropout(将神经元去除的的多少)的概率,在设定之后,就可以得到第一个batch进行训...原创 2020-08-06 16:08:00 · 2131 阅读 · 0 评论 -
【目标检测】:SPP-Net深入理解(从R-CNN到SPP-Net)
一. 导论SPP-Net是何凯明在基于R-CNN的基础上提出来的目标检测模型,使用SPP-Net可以大幅度提升目标检测的速度,检测同样一张图片当中的所有目标,SPP-Net所花费的时间仅仅是RCNN的百分之一,而且检测的准确率甚至会更高。那么SPP-Net是怎么设计的呢?我们要想理解SPP-Net,先来回顾一下RCNN当中的知识吧。下图为SPP-Net的结构:二. RCNNrcn...原创 2020-08-04 22:08:00 · 568 阅读 · 0 评论 -
一文入门人工智能的掌上明珠:生成对抗网络(GAN)
一.简介在人工智能领域内,GAN是目前最为潮流的技术之一,GAN能够让人工智能具备和人类一样的想象能力。只需要给定计算机一定的数据,它就可以自动联想出相似的数据。我们学习和使用GAN的原因如下:1.能够用GAN进行无监督学习:深度学习需要大量数据的标注才能够进行监督学习,而使用GAN则不需要使用大量标注的数据,可以直接生成数据进行无监督学习,比如使用GAN进行图像的语义分割,我们甚至...原创 2020-08-03 16:13:00 · 369 阅读 · 0 评论 -
神经网络绘图工具
http://alexlenail.me/NN-SVG/非常方便的绘图工具,可视化操作,免费,由麻省理工学院开发原创 2020-07-31 10:43:00 · 153 阅读 · 0 评论 -
神经网络剪枝,知识蒸馏,以及模型优化设计
一.神经网络压缩在如今人工智能的浪潮之下,深度学习在不少领域都取得了不错的成果。但是目前在边缘计算,物联网设备上的算力相比于我们的台式计算机还不太充足,我们在计算机上用于拟合的神经网络参数过多,不太适合运行在算力较弱的设备上,比如无人机,手机,平板电脑,自动驾驶汽车等等。因此我们需要将在计算机上训练好的神经网络通过某种技巧将其进行压缩,减少模型的参数,这样训练好的模型就可以迅速在这些边...原创 2020-07-25 14:47:00 · 1298 阅读 · 1 评论 -
使用全卷积神经网络FCN,进行图像语义分割详解(附代码实现)
一.导论在图像语义分割领域,困扰了计算机科学家很多年的一个问题则是我们如何才能将我们感兴趣的对象和不感兴趣的对象分别分割开来呢?比如我们有一只小猫的图片,怎样才能够通过计算机自己对图像进行识别达到将小猫和图片当中的背景互相分割开来的效果呢?如下图所示:而在2015年出来的FCN,全卷积神经网络完美地解决了这个问题,将曾经mean IU(识别平均准确度)只有百分之40的成绩...原创 2020-07-24 17:02:00 · 11421 阅读 · 15 评论 -
阿里天池文本分类竞赛task2:初始数据分析
在这一块当中我们稍微看看就好,不需要了解得太详细。进行文本数据分析往往是一个数据科学家需要具有的良好习惯,因为在对数据分析之前,需要对数据具有初步的了结。首先我们导入代码,开始分析数据:import pandas as pdtrain_df = pd.read_csv('train_set.csv', sep='\t')这样我们就将csv文件变成了dataframe,就可以根...原创 2020-07-22 21:15:00 · 156 阅读 · 0 评论 -
阿里天池文本分类竞赛task1: 赛题理解
一.比赛背景在本次Datawhale的竞赛当中,我们有一个具有20w条训练集,5w条测试集的数据集。整个数据集里面包含了各种分类不同的文本,每一个文本在训练集里都进行了标注label,这个label能够让我们知道训练集里面的句子是属于哪一个类别的数据。本次竞赛的文本分类一共有14个类别的数据,分别是:财经,彩票,房产,家居,教育,科技,社会,时尚,时政,体育,星座,游戏和娱乐。那么我们...原创 2020-07-21 20:59:00 · 363 阅读 · 0 评论 -
深度学习趣谈:什么是迁移学习?(附带Tensorflow代码实现)
一.迁移学习的概念什么是迁移学习呢?迁移学习可以由下面的这张图来表示:这张图最左边表示了迁移学习也就是把已经训练好的模型和权重直接纳入到新的数据集当中进行训练,但是我们只改变之前模型的分类器(全连接层和softmax/sigmoid),这样就可以节省训练的时间的到一个新训练的模型了!但是为什么可以这么做呢?二.为什么可以使用迁移学习?一般在图像分类的问题当中,卷积神...原创 2020-07-17 16:14:00 · 647 阅读 · 1 评论 -
Tensorflow最简单实现ResNet50残差神经网络,进行图像分类,速度超快
在图像分类领域内,其中的大杀器莫过于Resnet50了,这个残差神经网络当时被发明出来之后,顿时毁天灭敌,其余任何模型都无法想与之比拟。我们下面用Tensorflow来调用这个模型,让我们的神经网络对Fashion-mnist数据集进行图像分类.由于在这个数据集当中图像的尺寸是28*28*1的,如果想要使用resnet那就需要把28*28*1的灰度图变为224*224*3的RGB图,我们...原创 2020-06-30 19:46:00 · 1884 阅读 · 0 评论 -
Tensorflow实现图像数据增强(Data Augmentation)
在我们处理有关图像的任务,比如目标检测,分类,语义分割等等问题当中,我们常常需要对训练集当中的图片进行数据增强(data augmentation),这样会让训练集的样本增多,同时让神经网络模型的泛化能力更强。在进行图片的数据增强时,我们一般会对图像进行翻转,剪裁,灰度变化,对比度变化,颜色变化等等方式生成新的训练集,这就是计算机视觉当中的数据增强。我们来看看使用图像增强的手段,对一个猫...原创 2020-07-16 14:13:00 · 1865 阅读 · 3 评论 -
Tensorflow实现ResNet50残差神经网络,进行图像分类
在图像分类领域内,其中的大杀器莫过于Resnet50了,这个残差神经网络当时被发明出来之后,顿时毁天灭敌,其余任何模型都无法想与之比拟。我们下面用Tensorflow来调用这个模型,让我们的神经网络对Fashion-mnist数据集进行图像分类.由于在这个数据集当中图像的尺寸是28*28*1的,如果想要使用resnet那就需要把28*28*1的灰度图变为224*224*3的RGB图,我们...原创 2020-06-30 19:46:00 · 2401 阅读 · 0 评论 -
Tensorflow函数式API的使用
在我们使用tensorflow时,如果不能使用函数式api进行编程,那么一些复杂的神经网络结构就不会实现出来,只能使用简单的单向模型进行一层一层地堆叠。如果稍微复杂一点,遇到了Resnet这种带有残差模块的神经网络,那么用简单的神经网络堆叠的方式则不可能把这种网络堆叠出来。下面我们来使用函数式API来编写一个简单的全连接神经网络:首先导包:from tensorflow import...原创 2020-06-28 19:10:00 · 314 阅读 · 0 评论 -
Tensorflow利用卷积神经网络实现图片分类
tensorflow搭建卷积神经网络非常简单,我们使用卷积神经网络对fashionmnist数据集进行图片分类,首先导包:import tensorflow as tffrom tensorflow import kerasimport matplotlib.pyplot as pltimport numpy as np导入数据集:(train_image,train...原创 2020-06-28 18:52:00 · 802 阅读 · 0 评论 -
Tensorflow实现对fashion mnist(衣服,裤子等图片)数据集的softmax分类
首先我们要明确的是下面我们讲解的是一个很基础的神经网络,因为我们只是为了通过下面这个实例来为大家解释如何使用tensorflow2.0这个框架。整个神经网络的架构是首先是flatten层(把图片从二维转化为一维),然后经过一系列的全连接网络层,中间穿插着一些dropout层来避免过拟合,最后达到softmax层实现多分类。在整个神经网络当中并没有用到卷积神经网络,卷积神经网络会在我后面的...原创 2020-06-24 09:42:00 · 758 阅读 · 0 评论 -
Tensorflow实现神经网络的前向传播
我们构想有一个神经网络,输入为两个input,中间有一个hidden layer,这个hiddenlayer当中有三个神经元,最后有一个output。图例如下:在实现这个神经网络的前向传播之前,我们先补充一下重要的知识。一.权重w以及input的初始化我们初始化权重w的方法为随机生成这些权重,一般可以使用这些随机生成的数据正好在正态分布的曲线上,这也是最符合生成符合...原创 2020-06-22 21:01:00 · 335 阅读 · 0 评论 -
数据结构和算法:Python实现选择排序
程序如下:def selection_sort(alist): n=len(alist) for i in range(n-1):#到n-1停止是因为最后一个肯定是最大的无须比较 min_index=i for k in range(i+1,n):#到n停止是因为到最后一个不一定是最小的,所以需要每一个都进行比较 ...原创 2020-03-30 15:38:00 · 223 阅读 · 0 评论