风翼冰舟的博客

前言最近发现有挺多人喜欢径向基函数(Radial Basis Function,RBF)神经网络，其实它就是将RBF作为神经网络层间的一种连接方式而已。这里做一个简单的描述和找了个代码解读。之前也写过一篇，不过排版不好看，可以戳这里跳转国际惯例，参考博客：维基百科径向基函数《模式识别与智能计算——matlab技术实现第三版》第6.3章节《matlab神经网络43个案例分析》第7章节tensorflow2.0实现RBF理论基本思想用RBF作为隐单元的“基”构成隐藏层空间

前言最近看到了一个深度学习库OpenVINO，专门用于Intel硬件上部署深度学习模型，其内置了非常非常多使用的预训练模型，比如道路分割、人脸提取、3D姿态估计等等。但是配置和调用有点小恶心，这里以道路分割为例，展示如何配置OpenVINO的环境，以及模型下载和调用国际惯例，参考博客：OpenVINO提供的所有预训练模型列表OpenVINO的物体分割文档OpenVino (二） Win10 python配置配置需要注册一个账号下载OpenVINO，按照官网给出的win10安装方法 一直各种下一

前言之前写过tensorflow官方的posenet模型解析，用起来比较简单，但是缺点是只有2D关键点，本着易用性的原则，当然要再来个简单易用的3D姿态估计。偶然看见了ThreeDPose的项目，感觉很强大的，所以把模型扒下来记录一下调用方法。参考博客：ThreeDPose官方代码微软的ONNX模型解析库ONNX解析库的pythonAPI文档3D姿态估计最大的好处就是卡通角色的肢体驱动了，其实就是单目摄像头的动捕方法。理论和代码解析可以从官方去下载模型,戳这里，或者在文末的百度网盘下载。

前言之前出过一个关于openpose配置的博客，不过那个代码虽然写的很好，而且是官方的，但是分析起来很困难，然后再opencv相关博客中找到了比较清晰的实现，这里分析一波openpose的推断过程。国际惯例，参考博客：opencv官方文档，只有单人大佬的实现，包括多人解读直接使用opencv的dnn库调用openpose的caffe模型，然后对输出进行后处理。重点是代表关节连接亲密度的...

前言最近一直玩CV，对之前学的动捕知识都忘得差不多了，最近要好好总结一下一直以来学习的内容，不能学了忘。对2017年的SIGGRAPH论文《Phase-Functioned Neural Networks for Character Control》进行一波深入剖析吧，结合源码。额外多句嘴，这一系列的研究有：在2016年SIGGRAPH有一篇《A Deep Learning Framewo...

前言在有些博客推导神经网络的BP时，涉及到多次矩阵求导运算，尤其是反向传播时候，求的梯度结果被转置了，比如假设最后一层的输出为 y=σ(w⋅x+b)y=\sigma\left(w\cdot x+b \right)\\ 那么 ∂y∂w∂y∂x=σ′(w⋅x+b)⋅xT=σ′(w⋅x+b)⋅wT\begin{aligned}\frac{\partial y}{\partial w}&={\

前言之前有证明过一次人工神经网络——【BP】反向传播算法证明 ，但是回头看的时候，有很多地方非常不严谨，特此拿出来再单独证明一次BP，并严格保证其严谨性。如果想看看粗略的证明，可以去看我之前的博客，毕竟那个貌似也没人说细节有问题，估计很多人没有动手拆分推导。三层sigmoid激活函数BP扩展到任意激活函数第一步：前向传播下图展示了一个三层神经网络：相关说明：可见层定义为XX，共有nn个单元，下标用

前言前面煞费苦心地严格按照上下标证明BP，主要就是为了锻炼自己的证明时候的严谨性，那么这里也严格按照上下标的计算方法推导为何卷积的反向传播需要将卷积核旋转180°粗略证明回顾一下BP的第ll层第ii个偏置的更新 ∂E∂bli=∑j(δl+1j×Wl+1ji)×σ′(zli)\frac{\partial E}{\partial b^l_i}=\sum_j\left(\delta^{l+1}_j\t

前言前面已经介绍了RBM和CNN了，就剩最后一个RNN了，抽了一天时间简单看了一下原理，但是没细推RNN的参数更新算法BPTT，全名是Backpropagation Through Time。【注】严谨来说RNN有两个称呼：①结构上递归的recursive neural network，通常称为递归神经网络；②时间上递归的recurrent neural network，通常称为循环神经网...

前言上一篇学习了RNN，也知道了在沿着时间线对上下文权重求梯度的时候，可能会导致梯度消失或者梯度爆炸，然后我们就得学习一波比较常见的优化方法之LSTM国际惯例，参考网址：LSTM Networks for Sentiment AnalysisUnderstanding LSTM Networks简介传统的循环神经网络RNN在梯度反传阶段，梯度信号经常被上下文连接权重矩阵...

前言轻量级神经网络中，比较重要的有MobileNet和ShuffleNet，其实还有其它的，比如SqueezeNet、Xception等。本博客为MobileNet的前两个版本的理论简介与Keras中封装好的模块的对应实现方案。国际惯例，参考博客：纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception为什么MobileNet及其变体如此之...

前言最近看到Group Normalization的论文，主要提到了四个特征归一化方法：Batch Norm、Layer Norm、Instance Norm、Group Norm。此外，论文还提到了Local Response Normalization(LRN)、Weight Normalization(WN)、Batch Renormalization(BR)。国际惯例，参考博客：Gr...

前言最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation) 国际惯例, 参考博文:一文看懂各种神经网络优化算法：从梯度下降到Adam方法Adam：一种随机优化方法An overview of g

一、人工神经网络简介        人工神经网络(Artificial Neural Networks，ANN)基本组成成分是：输入(感知)器、加权求和(信息汇聚)、传递(信息传输)器、输出(响应)器组成。        决定神经网络信息处理性能的三大要素：激励函数、学习算法、拓扑结构。 二、人工神经网络研究热点 ①激励函数——反应神经元输入累积和与输出之间的函数关系。

一、模式识别系统的主要目标模式识别系统的主要目标是在特征空间和解释空间之间找个一种映射关系。二、模式识别系统的构成①数据获取：将对象属性转换为计算机可以接受的数值或者符号串集合。数值或者符号串组成的空间称为模式空间。②预处理：为了去噪，排除不相干信号，留下对象性质和与识别方法密切相关的特征。③特征提取和选择：从多个特征中选择有用特征，可进行降维。一般来说，特征种类越多，效果越好

RBF的函数使用

本文摘自：《模式识别与智能计算——matlab技术实现第三版》与《matlab神经网络43个案例分析》【注】蓝色字体为自己的理解部分 径向基函数神经网络的优点：逼近能力，分类能力和学习速度等方面都优于BP神经网络，结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数，克服局部极小值问题。原因在于其参数初始化具有一定的方法，并非随机初始化。 RBF是具有...

主流神经网络架构概览前馈神经网络(Feed-Forward neural network)在实际应用中最为常见——第一层是输入，最后一层是输出——如果隐单元多于一层，我们称为“深度”神经网络它们计算了一系列的转换，可改变样本之间的相似度——每一层的活跃神经元是其下层(below)活跃神经元的非线性函数循环神经网络（Recurrent Network）连接图中

前言最近报了一下Hinton大牛的coursera的神经网络课程，奈何比较懒，一直没看，还是写个博客督促自己比较好贴一下课程地址：https://www.coursera.org/learn/neural-networks/home/week/1第一讲主题是为何需要机器学习，文档可以去课程下载，此处提供一下百度云地址【Lecture 1a】百度云下载地址：链接：http://pan

前言我们都知道在机器学习中，希望算法或者网络收敛更快，有些是对数据预处理，尤其是Batch Normalization，有些是采用不同的激活函数，尤其是Relu激活函数取得了巨大的成功，还有一种加速收敛方法是更换损失函数。本博客就是针对均方差损失(MSE)和交叉熵损失的收敛速度做一个推导，当然少不了参考他人博客啦，但是参考归参考，重在自己推导一遍。国际惯例，来一波地址人工神经网络——【BP】反向传播

前言转载地址：如何选择深度学习优化器 作者：不会停的蜗牛 CSDN AI专栏作家在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器， https://www.tensorflow.org/api_guides/python/train在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam

前言因为目前需要搭建一些关于RBM或者其他之类的模型，感觉不太会折腾caffe，然而我发现了几个有趣网址，使用theano实现了各种各样的模型，所以，尝试学一下theano。主要以官方教程为主，所以博客会以译文的方式公布，当然会有自己的一些小见解或者扩展，编程环境为win7+jupyter notebook，如若有误，谢谢指正国际惯例，网址帖一波：【PTVS+Theano+CPU/GPU】在wind

第一步：前向传播【注】此BP算法的证明仅限sigmoid激活函数情况。本博文讲道理是没错的，毕竟最后还利用代码还核对了一次理论证明结果。关于更为严谨的BP证明，即严格通过上下标证明BP的博客请戳这里简单的三层网络结构如下参数定义： 可见层定义为X，共有n个单元，下标用 i表示 隐藏层定义为B，共有p个单元，下标用 j 表示 输出层定义为Y，共有q个...

前言按照进度, 学习theano中的卷积操作国际惯例, 来一波参考网址Convolutional Neural Networks (LeNet)卷积神经网络如何应用在彩色图像上？卷积小知识三大特性：局部感知(稀疏连接), 权值共享, 池化上图很重要, 描述的是前一个隐层m-1具有四个特征图, 第m个隐层具有两个特征图, 四个权重框代表的是第m-1层的所有特征图与第m层的第一个特征图的连接,注意前一层

基于RBF简单的matlab手写识别