piupiurui-CSDN博客

原创一维卷积（1D-CNN）、二维卷积（2D-CNN）、三维卷积（3D-CNN）

一维卷积神经网络（1D-CNN）一维卷积常用在序列模型、自然语言处理领域；假设输入数据维度为8，filter维度为5；不加padding时，输出维度为4，如果filter的数量为16，那么输出数据的shape就是；二维卷积神经网络（2D-CNN）二维卷积常用在计算机视觉、图像处理领域（在视频的处理中，是对每一帧图像分别利用CNN来进行识别，没有考虑时间维度的信息）；假设原始图像 shape 为（其中3为3个通道），使用32个大小为（其中3为深度，与通道数相同）的卷积核对其进行

2020-06-05 11:20:56 54083 7

原创 Hausdorff 距离

Hausdorff 距离是描述两组点集之间相似程度的一种量度；假设有两组集合：，；则这两个点集之间的单向 Hausdorff 距离：其中，||a-b|| 表示 a 与 b 之间的欧氏距离，h(A,B) 也叫前向 Hausdorff 距离，h(B,A) 也叫后向 Hausdorff 距离;h(A,B) 的理解：先在集合 B 中取距离集合 A 最近的点，然后计算集合 A 中的每个点与之间的距离，并将距离进行排序，然后取距离最大的值作为 h(A,B) 的值。（若 h(A,B)=...

2020-06-03 20:14:51 15710 3

原创怎么写文献综述

文献综述是由原始文献中大量的数据、资料、不同观点加以梳理整合后所形成的；文献综述的撰写时要将客观资料与主观论断融为一体，但是不能述评鲜明的表达作者本人的观点和立场。文献综述需要包含以下内容：问题提出的背景；发展过程；基本理论；最新成就；存在问题；进一步发展趋向。文献综述的基本结构与学术论文的结构相同，包括：题目、作者、单位、摘要、关键词、前言（绪言、引言）、正文、总结、参考文献。在前言部分，需要简述该综述的目的及必要性，简述领域的概要，使读者明白作者要说什么；论述

2020-06-01 20:22:09 1666

原创 pytorch学习笔记 —— torch.nn.LSTM

使用 torch.nn.LSTM 可以方便的构建 LSTM，不熟悉 LSTM 的可以先看这两篇文章：RNN：https://blog.csdn.net/yizhishuixiong/article/details/105588233LSTM：https://blog.csdn.net/yizhishuixiong/article/details/105572296下面详细讲述 torch.nn.LSTM 的使用torch.nn.LSTM(input_size, hidden_size, n

2020-05-24 23:06:50 2747

原创 pytorch学习笔记 —— torch.nn.Embedding

torch.nn.Embedding 可以实现word embedding，在自然语言处理中比较常用；word embedding 的理解将源数据映射到另外一个空间中，一对一映射。假设将 A 空间中的单词 a1 和 a2 对应 B 空间中的映射是多维变量 b1 和 b2，那么若 a1 <a2 ，则 b1 < b2。通过 word embedding，就可以将自然语言所表示的单词或短语转换为计算机能够理解的由实数构成的向量或矩阵形式（比如，one-hot 就是一种简单的 w..

2020-05-24 01:42:37 3864

原创 R-CNN（Region-CNN）、Fast R-CNN、Faster R-CNN学习笔记

R-CNN 是伴随着目标检测技术提出的一种模型；目标检测要解决的问题是：找出物体的位置、判断是什么物体；目标检测算法分为3类：传统的目标检测算法，如 HOG+SVM 等；候选区域+深度学习分类算法，如 R-CNN、Fast R-CNN 等；基于深度学习的回归方法，如 YOLO、SSD 等。传统目标检测算法存在的问题：滑动窗口的区域选择没有针对性，时间的复杂度高，窗口冗余量大；手工设计的特征对于多样性的变化没有很好的鲁棒性。为了优化上述问题，提出了 R-CNN：预先找到目标

2020-05-16 21:22:46 1067

原创 CNN典型模型 —— ResNet

ResNet 网络模型于2015年 ImageNet 比赛中提出；将网络层次提高到152层，错误率降低到了3.57%，主要解决网络退化问题；为什么深层神经网络比浅层神经网络更有效？浅层结构对复杂函数的表示能力有限，深层神经网络可以通过学习一种深层非线性网路结构，实现复杂函数的逼近，可以从少数样本中学习数据集本质特征。但是此前的实验表明，随着网络层次的增加效果会变差，例如，56层的网络结构和20层的网络结构的错误率的对比如下图：梯度消失或梯度弥散问题可以通过加入正则化解决；训练

2020-05-15 21:12:44 946

原创梯度下降法（Gradient Descent， GD）数学推导

本文参考李宏毅机器学习视频预备知识1、首先回顾一下 Taylor 展开式的形式：2、当两向量反向相反时，相乘取得最小值；梯度下降法数学推导利用下图演示模型的优化过程（即最小化 Loss function 的过程）：为了找到 loss function 的最小值（图中最低点），先随机找一点（a，b），然后以（a，b）为圆心，画一个足够小的圆；在这个圆内，可以使用 Taylor 公式将 loss function 展开，又因为这个圆足够小，圆内的点趋近于（a，b），所以在.

2020-05-08 22:14:46 974 1

原创长短期记忆（Long Short-Term Memory，LSTM）

普通的 RNN 会由于梯度消失或梯度弥散无法回忆起久远记忆（若预测所需关键信息出现在数据开头，RNN 分析到数据末尾时，将误差反向传播到开头，容易因梯度消失或梯度弥散而出现误差无限小或无限大）；为了解决上述问题，提出了 LSTM；LSTM 相比于普通 RNN 多了一个全局控制器、输入控制、输出控制、忘记控制；若某一输入对于全局结果较重要，就会按照重要程度加入全局控制器中再进行分析； ...

2020-05-07 20:16:18 1874

原创 DL —— 循环神经网络（Recurrent Neural Network，RNN）

普通的神经网络无法预测前后有关联的数据信息，因为无法“记住”之前发生的数据；RNN 在分析新状态时，将之前的分析结果再次加进来一起分析，这样就可以分析前后有关联的信息；RNN 可以用来：描述图片、翻译、分析语言感情色彩……...

2020-05-07 18:46:20 450

原创 pytorch学习笔记 —— torch.nn.Module

torch.nn.Module（以下简称 Module）是所有神经网络模块的基类，在 pytorch 中，自定义层、自定义块、自定义模型都可以通过继承 Module 类来实现；Module 中有许多方法，在自定义类时必须重写其中的两个方法：__init__ 和 forward；__init__ 中存放模型的固有属性，如：全连接层、卷积层等等； forward 中写各层之间的连接计算关系，...

2020-04-25 13:40:31 872

原创 python学习 —— os模块方法

目录1、access()2、chdir3、close4、closerange5、dup6、dup27、fstat8、fsync9、getcwd10、getcedu11、isatty12、link13、listdir14、lseek15、makedev16、makedirs17、mkfifo18、mknod19、openpt...

2020-04-12 16:35:52 373

原创 python学习 —— 生成器及其创建

使用了 yield 的函数（这个函数返回一个迭代器）称作生成器；所以，生成器也可以理解为迭代器；调用生成器时，每遇到 yield 函数，会暂停并保存当前所有的运行信息，返回 yield 的值，下次执行 next() 方法时会从暂停的位置继续执运行；演示如下：def gen(x): a = 0 for i in range(x): yield i...

2020-04-11 20:50:56 158

原创 python学习 —— 迭代器及其创建

迭代器对象从集合的第一个元素开始访问，直到所有的元素访问结束，只能往前不能后退；iterable = iter(seq) 创建迭代器对象； next(iterable) 访问迭代器的下一个元素；迭代器对象可以使用 for 语句进行遍历；演示如下：a_tuple = (1, 2, 3, 'a', 'b', 'c')it1 = iter(a_tuple)it2 ...

2020-04-11 20:40:41 255

原创目标检测 —— 非极大值抑制（Non-Maximum Suppression，NMS）

非极大值抑制，即抑制不是极大值的元素，搜索出局部极大值；进行目标检测定位一个物体时，可能最终会从一张图片中找出很多个可能是物体的矩形框（假设有6个），这时需要对每个矩形框计算类别分类概率；我们要保留更好的矩形框，去除冗余的矩形框；根据分类器的类别分类概率，假设6个框属于该物体的概率从大到小分别为A、B、C、D、E、F；NMS步骤：先设定一个阈值0.5（一般在 0.3 与 0....

2020-04-11 19:23:29 586

原创目标检测 —— 交并比（Intersection over Union，IoU）

IoU（交并比）是测量检测物体准确度的一个标准；图像中标记一个目标的真实区域，在目标检测中，得出该目标的预测区域 bounding box，可以通过计算 IoU 的值来评估检测的准确性；IoU 值越大，测量结果就越准确；计算如下：IoU = 检测区域与真实区域交集检测区域与真实区域并集即：...

2020-04-11 18:41:59 3008

原创如何计算卷积后的图像尺寸

N = (W - F + 2*P)/S+ 1其中：N：输出图像的尺寸N*N；W：输入图像的尺寸W*W；F：卷积核（filter）的边长F*F；S：卷积的步长(stride)；P：padding大小；若想通过设置padding保证卷积前后图像大小不变，可令 N = W，解出 p（即padding = (W+1)/2 向上取整即可）；...

2020-04-08 20:10:43 5296 3

原创 CNN典型模型及pytorch实现 —— VGGNet

VGG 是一种比较稳定的model（实际上是AlexNet 结构的扩展），连续的 conv 多，计算量巨大，需要更大的存储空间；2014年竞赛的第二名，但是在一些迁移模型中的表现要优于第一名 GoogleNet；而且在图像中提取 CNN 特征 VGG 是首选模型；VGG 模型特点：采用更小的卷积核（将卷积核全部替换为3*3，极少还使用1*1的卷积核）；还采用较小的池化核，相比于 ...

2020-04-08 19:36:06 1302

原创 python学习 —— 集合内置方法总结

定义 a_set 为一个集合；方法描述添加 a_set.add(element) 为集合添加元素； a_set.update(Iterable) 为集合添加元素；删除 a_set.clear() 移除集合中所有元素； a_set.difference_update() 移除集合中的元素，该元素在指定的集合也存在； a...

2020-04-07 10:31:11 398

原创 python学习 —— 字典内置方法总结

定义 a_dict 为一个字典；方法描述 a_dict.clear() 删除字典中所有元素； a_dict.copy() 返回字典的复制； a_dict.fromkeys(seq) 创建一个新字典，以序列 seq 中元素作为字典的键，value 为字典所有键对应的初始值； a_dict.get(key, default=None) 返回指定键的值...

2020-04-06 22:02:14 243

原创 python学习 —— 列表方法总结

定义 list 为一列表；方法描述 list.append(obj) 在列表末尾添加新的对象； list.extend(seq) 在列表末尾一次性追加另一个序列中的多个值（用新列表来扩展原列表，即原列表不改变）； list.insert(index, obj) 将对象插入列表； list.pop([index=-1]) 移除列表中的一个元素（默认...

2020-04-06 21:28:49 198

原创 python学习 —— 常用字符串函数方法详解

设 str 为一字符串；序号函数方法描述长度 len(str) 返回字符串长度；最大最小 max(str) 返回字符串 str 中最大的字母； min(str) 返回字符串 str 中最小的字母；判断 str.isalnum() 若字符串至少有一个字符，并且所有字符都是字母或数字则返回 Ture，否则返回 Fals...

2020-04-06 21:07:57 297

原创 python学习 —— f-string

f-string 是一种格式化字符串的语法，代替之前使用的百分号 %；f-string 格式化字符串以 f 开头，后面跟着字符串，字符串中的表达式置于大括号 {} 中，打印时会将变量或表达式计算后的值替换进去；演示如下：a, b = 1, 2print('a 与 b 的和为：%d' % (a + b))print(f'a 与 b 的和为：{a + b}')...

2020-04-06 16:01:14 276

原创 python学习 —— 转义字符总结

python中用反斜杠 \ 转义字符；转义字符描述 \ 续行符（置于行尾） \\ 放斜杠符号 \' 单引号 \'' 双引号 \a 响铃 \b 退格 \000 空 \n 换行 \v 纵向制表符 \t 横向制表符 \r 回车 \f 换页 \oyy yy代表的字符...

2020-04-06 15:46:35 199

原创 python学习 —— 数字（Number）相关函数总结

目录1、数学函数2、随机数函数3、三角函数4、数学常量1、数学函数函数描述 abs() 返回数字的绝对值 math.ceil(x) 返回数字的上入整数，如x为4.1则返回5 math.exp(x) 返回e的x次幂 math.fabs(x) 返回数字的绝对值（浮点数） math.floor(x) 返回数字的下舍整数，如...

2020-04-06 15:35:04 318

原创 python学习 —— 运算符总结

目录1、算数运算符2、比较（关系）运算符3、赋值运算符4、逻辑运算符5、位运算符6、成员运算符7、身份运算符8、运算符优先级1、算数运算符运算描述结果 5 + 4 加法 9 3.5 - 2 减法 1.5 2 * 9 乘法 18 5 / 2 除法（得到一个浮点数） 2.5 5 ...

2020-04-06 11:41:54 306

原创 python学习 —— 基本数据类型

python不同于C，变量没有类型，也不需要声明；但是在使用变量前必须赋值，只有赋值以后才会被创建；我们此处所说的类型是指变量所指的内存中对象的类型；查询、判断变量所指的数据类型可以使用 type() 函数、isinstance() 函数；【isinstance、type函数用法及比较】python可以同时给多个变量赋值；一个变量也可以通过赋值指向不同的对象；可以使用 del ...

2020-04-05 22:05:28 232

原创 CNN典型模型及pytorch实现 —— GoogleNet

14年的冠军 model；GoogleNet（把网络结构增加到了22层）证明了用更多的卷积、更深的层次，可以得到更好的效果；但是纯粹增大网络也有一些缺点：参数太多，容易过拟合；网络越大，计算的复杂度越大；网络越深，越容易出现梯度消失或梯度弥散；为了在增加网络深度和宽度的同时减少参数，提出了 Inception；GoogleNet 和 AlexNet 结构的区别在于中间有好...

2020-04-05 11:17:45 1257

原创 python学习 —— 内置函数（五）：import，complex，hash，set，delattr，next，setattr，dict，hex，sorted，slice，id，oct

目录1、__import__2、complex3、hash4、set5、delattr6、next7、setattr8、dict9、hex10、object11、slice12、id13、oct14、sorted1、__import__语法：作用 / 返回值：代码演示：2、compl...

2020-04-03 09:17:14 251

原创 python学习 —— 内置函数（四）：map，repr，xrange，cmp，globals，zip，compile，hasattr，memoryview，round

目录1、map2、repr3、xrange4、cmp5、globals6、zip7、compile8、hasattr9、memoryview10、round1、map语法：map(function, iterable, ...)function：函数；iterable：一个或多个序列；作用 / 返回值：根据提供的函数对指...

2020-04-02 17:47:33 314

原创 python学习 —— 内置函数（三）：type，bytearray，vars，classmethod，callable，format，locals，reduce，getattr，frozenset

目录`1、type``2、bytearray``3、raw_input``4、unichr``5、callable``6、format``7、locals``8、reduce``9、unicode``10、frozenset`1、type语法：type(object)type(name, bases, dict)name：类的名称；bases：基类的元组；dict：字典，类内定义的...

2020-04-02 14:32:57 243

原创 python学习 —— 内置函数（二）：basestring，execfile，issubclass，print，super，bin，iter，property，bool，filter

目录`1、basestring``2、execfile``3、issubclass``4、print``5、super``6、bin``7、iter``8、property``9、bool``10、filter`1、basestring语法：isinstance(obj, basestring)作用 / 返回值：basestring是一个抽象类，不能被调用或实例化；isinstanc...

2020-04-01 20:22:25 341

原创 python学习 —— 内置函数（一）：divmod，open，staticmethod，all，enumerate，int，ord，any，eval，isinstance

目录`1、divmod()``2、open()``3、staticmethod()``4、all()``5、enumerate()``6、int()``7、ord()``8、any()``9、eval()``10、isinstance()`1、divmod()语法：divmod(a, b)作用 / 返回值：计算 a 除以 b 的商和余数，并返回一个包含商和余数的元组；代码演示：# ...

2020-04-01 15:25:08 944

原创 python学习 —— dir() 函数

这是一个可以进行方法查询的函数dir()函数可以带参数，也可不带参数；不带参数时：返回值为当前模块的属性列表：带参数时：语法：dir([object])返回值为[object]的方法；查看字典的方法：查看a的方法：...

2020-03-31 20:51:53 322

原创加载自己的数据集

Dataset类时pytorch图像数据集中最重要的一个类，是pytorch所有数据集加载应该继承的父类；若要加载自己的数据集，Dataset中的两个私有成员函数必须重新编写： def __getitem__(self, index): def __len__(self):getitem函数：接收的index是一个list的index，这个list的每个元素包含图片的路...

2020-03-31 17:16:04 2036 1

原创 getitem、setitem、delitem、len

目录__getitem__方法__setitem__方法__delitem__方法整合效果__getitem__方法有这个方法，可以使用中括号调用对象的属性，如下：class Tag: def __init__(self): self.change_dict = {'aaa': 'this is aaa', ...

2020-03-30 20:14:00 265 1

原创 CNN典型模型及pytorch实现 —— AlexNet

AlexNet是2012年ImageNet比赛的冠军model，以第一作者alex命名；（关于ImageNet：超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，提供了边界框，ImageNet包含2万多个类别，ImageNet挑战使用了一个“修剪”的1000个非重叠类的列表【参考百度百科】）AlexNet用于解决图像分类问题；它证明了CNN在复杂模...

2020-03-29 20:45:56 1117 1

原创 CNN典型模型及pytorch实现 —— LeNet

LeNet于1989年提出的一种网络结构，目前在各大深度学习框架中使用的是简化版的LeNet-5，与原始的结构区别在于把激活函数换成了ReLU；LeNet奠定了卷积层+池化层+全连接层的结构，初用于手写数字的识别问题，输入为单通道的灰度图；LeNet网络结构图：第一层：输入层输入层是32 * 32大小的图像（Mnist数据库为28 * 28大小），目的是希望潜在的明显特征出现在最高层特征...

2020-03-29 10:32:27 387

原创 ML —— 激活函数总结

激活函数目录==SoftPlus====softmax====sigmoid====修正线性单元（Rectified linear unit，ReLU）====参数化修正线性单元（Parameteric Rectified Linear Unit，PReLU）====带泄露修正线性单元（Leaky ReLU）====指数线性单元（Exponential Linear Unit，ELU）====双曲...

2020-03-28 17:58:46 407

原创深度网络的训练过程与方法

第一步：自下而上的无监督学习（这一步是网络参数初始化得过程，区别于传统神经网络初值随机初始化，深度学习模型通过无监督学习输入数据进行初始化，因此这个初值更接近全局最优，从而能够取得更好的效果。）逐层构建单层神经元，每层采用wake-sleep算法进行调优，每次仅调整一层，逐层调整（这个过程看作是一个feature learning的过程，是和传统神经网络区别最大的部分）；wake-sleep...

2020-03-28 14:49:31 3117

空空如也

空空如也