分享
Zhang_P_Y
关注机器学习、计算机视觉、嵌入式（MCU、DSP、ARM）和桌面开发等领域
展开
-
【计算机视觉】评估语义分割精确度的指标
【计算机视觉】评估语义分割精确度的指标假设共有k+1k+1k+1个类（从L0L_0L0到LkL_kLk，其中包含一个空类或背景），pijp_{ij}pij表示本属于类iii但被预测为类jjj的像素数量。即，piip_{ii}pii表示真正的数量，而pijp_{ij}pij pjjp_{jj}pjj则分别被解释为假正和假负，尽管两者都是假正与假负之和。像素精度（Pixel Accu...原创 2020-04-09 20:24:51 · 876 阅读 · 0 评论 -
【深度学习技术】小样本医学影像的深度学习关键技术之深度模型的可解释性
【深度学习技术】小样本医学影像的深度学习关键技术之深度模型的可解释性深度模型的可解释性对于深度模型在医学影像上的应用十分重要。训练好的一个分类模型，怎样才能帮助到医生，其中可解释性是一种尝试。下图为在MURA数据集上训练的模型采用CAM对其最后层卷积输出进行可视化结果。详细工程：https://pengyizhang.github.io/2020/03/25/MIASSL-explanation...原创 2020-03-25 15:02:55 · 2153 阅读 · 0 评论 -
【深度学习技术】如何用C++加载pytorch模型并进行推理部署 (三)
【深度学习技术】如何用C++加载pytorch模型并进行推理部署 (三)“将C++ tensor图像拷贝至opencv Mat中”如何高效地从pytorch C++ tensor结构中将超分输出的图像拷贝至opencv用于后续处理 ─━ _ ─━✧ https://pengyizhang.github.io/2020/03/19/pytorch_script_cplusplusv32020...原创 2020-03-19 21:22:51 · 915 阅读 · 0 评论 -
【深度学习技术】如何用C++加载pytorch模型并进行推理部署（二）
关于如何控制图像输入pytorch C++以及输出的处理方法，可以????https://pengyizhang.github.io/2020/03/19/pytorch_script_cplusplusv2/原创 2020-03-19 09:50:30 · 893 阅读 · 0 评论 -
【深度学习技术】如何用C++加载pytorch模型并进行推理部署
训练好的pytorch模型，不想再用C++把模型实现，而只想用C++进行模型部署，那么可以参考下面的文档：https://pengyizhang.github.io/2020/03/19/pytorch_script_cplusplus/Step 1: Converting Your PyTorch Model to Torch ScriptStep 2: Serializing Yo...原创 2020-03-19 08:54:38 · 1729 阅读 · 0 评论 -
机器学习之深度学习
本文基于台大机器学习技法系列课程进行的笔记总结。一、主要内容topic 1 深度神经网络结构从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：从两者的对比中可以明显原创 2015-07-16 11:39:50 · 1806 阅读 · 0 评论 -
修正线性单元(Rectified linear unit，ReLU）
标准的sigmoid输出不具备稀疏性，需要通过惩罚因子来训练一堆接近于0的冗余数据，从而产生稀疏数据，比如L1，L2或者student-t作为惩罚因子，进行regularization。使用rectifier 作为非线性激活函数使得深度网络学习不需要pre-training，在大、复杂的数据上，相比于sigmoid函数等更加快速和更有效率。原创 2015-09-11 21:17:25 · 52482 阅读 · 3 评论 -
自适应共振理论网络 ART
自适应共振理论网络ART I的运行原理与学习算法.......原创 2015-08-19 14:54:15 · 16586 阅读 · 0 评论 -
对偶传播神经网络（CPN）
1987年，美国学者Robert Hecht-Nielsen提出了对偶传播神经网络模型 （Counter Propagation Network，CPN），CPN最早是用来实现样本选择匹配系统的。CPN 网能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等用途。1. 网络结构与运行原理网络结构如图所示，各层之间的神经元全互联连接。原创 2015-08-15 13:13:30 · 6253 阅读 · 3 评论 -
学习向量量化神经网络
在竞争网络结构的基础上，学习向量化（learning vector quantization，LVQ）网络被提出来，融合竞争学习思想和有监督学习算法的特点，通过教师信号对输入样本的分配类别进行规定，从而克服自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。1. 向量量化向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的原创 2015-08-15 13:06:53 · 7876 阅读 · 2 评论 -
竞争学习的基本概念和原理
竞争学习是自组织网络中最常采用的一种学习策略。 一、基本概念先说明几个重要的概念。1. 模式、分类、聚类与相似性在神经网络应用中，输入样本、输入模式和输入模式样本这样的术语基本上是等同的概念。在涉及识别、分类问题时，常用到输入模式的概念。模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合。分类是在类别知识等导师信号的指导下，将待识别的输入模式分配原创 2015-08-14 17:43:35 · 8392 阅读 · 0 评论 -
双向联想记忆神经网络
联想记忆网络的研究是神经网络的重要分支，在各种联想记忆网络模型中，由B·Kosko于1988年提出的双向联想记忆（Bidirectional Associative Memory，BAM）网络的应用最为广泛。前面介绍过的Hopfiled网络可实现自联想，具体内容可以参考博文《反馈神经网络Hopfield网络》。而BAM网络可以实现双向异联想，具有离散型、连续型和自适应型等多种形式。原创 2015-08-07 21:19:10 · 7743 阅读 · 5 评论 -
RBF神经网络学习算法及与多层感知器的比较
对于RBF神经网络的原理已经在我的博文《机器学习之径向基神经网络（RBF NN）》中介绍过，这里不再重复。今天要介绍的是常用的RBF神经网络学习算法及RBF神经网络与多层感知器网络的对比。一、RBF神经网络学习算法广义的RBF神经网络结构如下图所示：N-M-L结构对应着N维输入，M个数据中心点centers，L个输出。RBF 网络常用学习算法RBF 网络的设计包括结原创 2015-08-07 10:27:16 · 7927 阅读 · 0 评论 -
初窥深度学习
最近上完了计算神经科学的课程，算是神经网络学习的入门吧！课程要求主要论述了前馈型中的感知器、Adaline、BP神经网络（sigmoid激发函数）、径向基函数神经网络（局部学习，gaussian函数，正则化Green函数）等和反馈型中的Hopfiled（DHNN）神经网络。总是再听陆教授讲到deep learning，说到了深度学习的强大，什么谷歌大脑，百度大脑之类的。作为初步，对深度学习进行一下原创 2015-07-05 23:00:39 · 1707 阅读 · 3 评论 -
神经网络总结（初稿）
神经网络是由大量处理单元（神经元）相互连接而成的网络，ANN（Artificial Neural Network）是生物神经系统的一种抽象、简化和模拟。神经网络的信息处理是通过神经元的相互作用来实现的，知识与信息的存储表现在网络元件互连的分布式结构与联系，神经网络的学习与识别就是神经元连接权系数的动态演化过程。实践中常用的基本神经网络模型有：感知器（perceptron）神经网络、线性神经（Ada原创 2015-07-05 22:52:46 · 5860 阅读 · 0 评论 -
卷积神经网络（CNN）
卷积神经网络（CNN）接收域 卷积 减采样 说明：以后的总结，还应该以我的认识进行总结，这样比较符合我认知的习惯，而不是单纯的将别的地方的知识复制过来，这样并起不到好的总结效果。相反，如果能够将自己的体会写下来，当有所遗忘时还能顺着当时总结的认识思路，重新“辨识”起来，所以，要总结，而不要搬运知识。起初并不理解卷积神经的卷积与结构是什么，后来通过了一个比较好的例子才对卷积神经网络有了初步的认原创 2015-09-08 22:05:07 · 3551 阅读 · 3 评论 -
自组织特征映射神经网络（SOFM）
1981年芬兰 Helsink 大学的 T·Kohonen 教授提出一种自组织特征映射网 （Self-Organizing Feature Map ， SOFM ）， 又称 Kohonen 网 。 Kohonen 认为 ，一个神经网络接受外界输入模式时， 将会分为不同的对应区域， 各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。 自组织特征映射正是根据这一看法提出来的 ，其特点与人脑原创 2015-08-14 20:52:34 · 14693 阅读 · 3 评论 -
人工神经网络基础概念、原理知识（补）
一提到人工神经网络应当想到三个基础的知识点：一是神经元模型；二是神经网络结构；三是学习算法。神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。今天就对这三个基础知识点进行总结，达到指导神经网络学习以及深化对神经网络的理解的目的。一、神经元模型人工神经网络是在现代神经生物学研究基础上提出的原创 2015-08-14 16:13:16 · 16869 阅读 · 2 评论 -
机器学习之径向基神经网络（RBF NN）
本文基于台大机器学习技法系列课程进行的笔记总结。主要内容如下图所示：首先介绍一下径向基函数网络的Hypothesis和网络的结构，然后介绍径向基神经网络学习算法，以及利用K-means进行的学习，最后通过一个实例加深对RBF神经网络认识和理解。RBF神经网络的Hypothesis和网络结构我们从基于Gaussian kernel的support vector mac原创 2015-07-17 00:47:05 · 25555 阅读 · 0 评论 -
随机神经网络之玻尔兹曼机
一、引言在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，原创 2015-08-10 11:09:54 · 23351 阅读 · 2 评论 -
随机神经网络之模拟退火
一、引言 在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷原创 2015-08-08 10:04:41 · 6966 阅读 · 0 评论 -
BP神经网络设计常用的基本方法和实用技术
尽管神经网络的研究和应用已经取得巨大成功，但在网络的开发设计方面至今仍没有一套完善的理论做指导，应用中采取的主要设计方法是，在充分了解待解决问题的基础上将经验与试探相结合，通过多次改进性试验，最终选出一个较好的设计方案。下面是在开发神经网络中常用的基本方法和实用技术。（1） 网络信息容量与训练样本数多层神经网络的分类能力与网络信息容量相关，如果网络的权值和阈值总数nw表征网络信息容量，研原创 2015-08-01 20:10:42 · 7943 阅读 · 1 评论 -
反馈神经网络Hopfield网络
一、前言经过一段时间的积累，对于神经网络，已经基本掌握了感知器、BP算法及其改进、AdaLine等最为简单和基础的前馈型神经网络知识，下面开启的是基于反馈型的神经网络Hopfiled神经网络。前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。J.J. Hopfield教授在反馈神经网络中引原创 2015-08-06 23:34:20 · 14237 阅读 · 0 评论 -
大师Geoff Hinton关于Deep Neural Networks的建议
大师Geoff Hinton关于Deep Neural Networks的建议 Note: This covers suggestions from Geoff Hinton’s talk given at UBC which was recorded May 30, 2013. It does not cover bleeding edge techniques.原创 2015-09-11 22:06:57 · 2464 阅读 · 0 评论 -
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
《Brief History of Machine Learning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Overview》介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最转载 2016-02-28 12:31:12 · 6546 阅读 · 0 评论 -
【神经网络与深度学习】caffe+VS2013+Windows无GPU快速配置教程
首先来一波地址：happynear大神的第三方caffe：http://blog.csdn.net/happynear/article/details/45372231Neil Z大神的第三方caffe：https://initialneil.wordpress.com/2015/01/11/build-caffe-in-windows-with-visual-studio-201转载 2016-09-13 18:55:46 · 2570 阅读 · 0 评论 -
【神经网络与深度学习】【VS开发】【CUDA开发】VS2013 配置CUDNN V4 DEMO
VS2013 配置CUDNN V4 DEMO众所周知，当前主流深度学习的实现中调用的底层API都是cudnn，自己做项目需要开发深度学习模块时，也需要调用cudnn库，因此熟悉cudnn库是很有必要的。 从NVIDIA官方网站可以申请到CUDNN库与DEMO，通过研究DEMO，我们可以更好地使用CUDNN库。下载CUDNN V4与DEMO下载页面 需要注册一转载 2016-09-14 09:36:06 · 1368 阅读 · 0 评论 -
【神经网络与深度学习】【CUDA开发】【VS开发】Caffe+VS2013+CUDA7.5+cuDNN配置过程说明
【神经网络与深度学习】【CUDA开发】【VS开发】Caffe+VS2013+CUDA7.5+cuDNN配置过程说明标签：【Qt开发】 说明：这个工具在Windows上的配置真的是让我纠结万分，大部分都是基于Linux下进行的部署，但是Linux只是跑在虚拟机中，只为了开发ARM-Linux的人，你不会想着去在虚拟机里配置Caffe的。所以，迫不得已必须在Windows上部署，于是从BVLC下载，原创 2016-09-14 10:37:45 · 1811 阅读 · 0 评论 -
【神经网络与深度学习】【CUDA开发】【VS开发】Microsoft官方移植了Caffe配置过程说明
想在Windows平台使用Caffe，吭哧吭哧下载了半天第三方库，后来忽然发现Microsoft官方移植了Caffe，配置起来简直太省心了…1. 从Microsoft官方Github上下载Caffe，源代码压缩包不到9MB大小，并将其解压缩到本地目录https://github.com/Microsoft/caffe2.安装NVIDI转载 2016-09-14 10:44:22 · 787 阅读 · 0 评论 -
【神经网络与深度学习】基于Windows+Caffe的Minst和CIFAR—10训练过程说明
Minst训练我的路径：G:\Caffe\Caffe For Windows\examples\mnist 对于新手来说，初步完成环境的配置后，一脸茫然。不知如何跑Demo，有么有！那么接下来的教程就是我们这些新手的福利了。 第一步：如果前面的train_net.cpp编译通过了，那么这个就非常简单。Caffe训练和测试的数据都是需要leveldb格式的，niuzhiheng大牛已转载 2016-09-14 21:55:49 · 1132 阅读 · 0 评论 -
【神经网络与深度学习】Caffe训练执行时爆出的Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type
自己建立一个工程，希望调用libcaffe.lib ，各种配置好，也能成功编译，但是运行就会遇到报错F0519 14:54:12.494139 14504 layer_factory.hpp:77] Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type: Input (known types: Input转载 2016-09-14 23:20:08 · 4477 阅读 · 8 评论 -
【VS开发】Caffelib中出现的问题：强制链接静态库所有符号(包括未被使用的)
C++程序在链接一个静态库时，如果该静态库里的某些方法没有任何地方调用到，最终这些没有被调用到的方法或变量将会被丢弃掉，不会被链接到目标程序中。这样做大大减小生成二进制文件的体积。但是，某些时候，即使静态库里的某些方法没有任何地方使用到，我们也希望将这些没有使用到的代码编译进最终的二进制文件中。为什么会有这样的需求？的确，存在这种需求的是少数情况，但是一旦你遇到下面的需求，就变得必须了。比转载 2016-09-14 23:28:40 · 2088 阅读 · 0 评论 -
【神经网络与深度学习】caffe静态链接库“Unknown layer type: Convolution (known types: )”和“ 磁盘空间不足”问题的解决办法
这一段时间把caffe在windows环境下编译了一下，tool里面的cpp全部编译成了exe。再用的时候有两个问题让我头疼了好长时间！ 第一个问题 “db_lmdb.hpp:14] Check failed: mdb_status == 0 (112 vs. 0) 磁盘空间不足。” 这问题是由于lmdb在windows下转载 2016-09-14 23:30:03 · 1956 阅读 · 2 评论 -
【神经网络与深度学习】Caffe使用step by step：caffe框架下的基本操作和分析
caffe虽然已经安装了快一个月了，但是caffe使用进展比较缓慢，果然如刘老师说的那样，搭建起来caffe框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning时知道针对调整的方法。下面针对caffe中的使用进行讲解。转载 2016-09-15 18:10:56 · 3219 阅读 · 0 评论 -
【神经网络与深度学习】Caffe部署中的几个train-test-solver-prototxt-deploy等说明
本文只是自己学习一天的总结，如有不对的地方，欢迎指正！欢迎大家转载，但请标明出处，谢谢！1、*_train_test.prototxt文件这是训练与测试网络配置文件（1）在数据层中 参数include{ phase：TRAIN/TEST转载 2016-09-15 20:35:28 · 1676 阅读 · 0 评论 -
【神经网络与深度学习】在Windows8.1上用VS2013编译Caffe并训练和分类自己的图片
最近想熟悉一下深度学习，体验了一下Caffe，简单写写训练和分类的过程：1.下载Caffe VS2013工程：https://github.com/Microsoft/caffe2. 解压并用VS2013打开解决方案caffe-master\windows\Caffe.sln，默认配置是x64 Debug2. 重命名caffe-mast转载 2016-09-15 20:36:06 · 1145 阅读 · 0 评论 -
【神经网络与深度学习】Caffe部署中的几个train-test-solver-prototxt-deploy等说明<二>
一，train_val.prototxtname: "CIFAR10_quick"layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { # mirror: true # mean_f转载 2016-09-15 20:39:52 · 4863 阅读 · 2 评论 -
【神经网络与深度学习】Caffe部署中的几个train-test-solver-prototxt-deploy等说明<三>
1:神经网络中，我们通过最小化神经网络来训练网络，所以在训练时最后一层是损失函数层（LOSS），在测试时我们通过准确率来评价该网络的优劣，因此最后一层是准确率层（ACCURACY）。但是当我们真正要使用训练好的数据时，我们需要的是网络给我们输入结果，对于分类问题，我们需要获得分类结果，如下右图最后一层我们得到的是概率，我们不需要训练及测试阶段的LOSS，ACCURACY层了转载 2016-09-15 20:40:52 · 5643 阅读 · 0 评论 -
【神经网络与深度学习】用训练好的caffemodel来进行分类
现在我正在利用imagenet进行finetune训练，待训练好模型，下一步就是利用模型进行分类。故转载一些较有效的相关博客。博客来源：http://www.cnblogs.com/denny402/p/5111018.htmlcaffe程序自带有一张小猫图片，存放路径为caffe根目录下的 examples/images/cat.jpg, 如果我们想用一个训练好的caffemod转载 2016-09-15 21:34:09 · 2818 阅读 · 0 评论 -
【神经网络与深度学习】Caffe使用step by step：使用自己数据对已经训练好的模型进行finetuning
在经过前面Caffe框架的搭建以及caffe基本框架的了解之后，接下来就要回到正题：使用caffe来进行模型的训练。但如果对caffe并不是特别熟悉的话，从头开始训练一个模型会花费很多时间和精力，需要对整个caffe框架有一个很清楚的了解，难度比较高；同时，在使用数据迭代训练自己模型时会耗费很多计算资源。对于单GPU或者没有大的GPU计算能力的研究者会比较困难。所以，使用已经训练好的caf转载 2016-09-15 21:35:16 · 4624 阅读 · 0 评论