ANN/DNN/纤维丛
文章平均质量分 62
wishchin
CV算法工程师:从事室内场景感知方面工作,完成算法实验和软件开发。
展开
-
DNN结构演进History—CNN-GoogLeNet :Going Deeper with Convolutions
GoogleNet的研究点是引入了Inception结构,构建网络中的网络,使网络稀疏化,使CNN网络更像一个“神经元-网络”。因此可以实现:看起来更深,其实更稀疏,全局性能更好的网络。在数学上表示为,把稀疏网络转化成局部稠密的网络,加快计算速度。 本文提出了一种新的分类和检测的新网络。该网络最大的特点就是提升了计算资源的利用率。在网络需要的计算不变的前提下,通过工艺改进来提升网络的宽度和深度。最后基于Hebbian Principle和多尺寸处理的直觉来提高性能。翻译 2016-05-13 11:55:17 · 2337 阅读 · 0 评论 -
AI:IPPR的模式生成-CNN模块学习/训练方式(基本结构)
前言: 一个完备的模式识别系统,必然包含一个模式识别模型,此外还要附加一个评价模型,以及为了构建识别模型而构建的学习模型,并选择在学习模型中使用的学习方法。 表示(Representation) : 一个分类器必须用计算机可以处理的某种形式语言来表示。反过来讲,为模式识别模型选择一种表示,就意味选择一个特定的分类器集合。学习器可能学出的分类器只能在这个集合中。...原创 2017-07-23 22:02:14 · 4786 阅读 · 0 评论 -
AI:IPPR的数学表示-CNN基本结构分析( Conv层、Pooling层、FCN层/softmax层)
类似于SVM,CNN为代表的DNN方法的边缘参数随着多类和高精度的要求必然增长。比如向量机方法,使用可以映射到无穷维的高斯核,即使进行两类分类,在大数据集上得到高精度,即保持准确率和高精度的双指标,支持向量的个数会随着数据集增长,SVM三层网会变得非常宽。CNN方法的多层结构,在保留边缘映射的数目的同时可以有效地降低“支持向量”的个数,是通过函数复合—因式分解得到的,至于要使用多少...原创 2019-06-17 14:39:36 · 3388 阅读 · 0 评论 -
推荐系统中基于深度学习的混合协同过滤模型
协同过滤的一个关键点是协同,即找到用户喜好相似的K个用户,一个多维向量的K近邻查找方法。 提出了一种Additional Stacked Denoising Autoencoder(aSDAE)的深度模型用来学习User和Item的隐向量,该模型的输入为User或者Item的评分值列表,每个隐层都会接受其对应的Side information信息的输入(该模型灵感来自于NLP中的Seq-2-Seq模型,每层都会接受一个输入,我们的模型中每层接受的输入都是一样的,因此最终的输出也尽可能的与输入相等)。转载 2017-09-14 16:30:23 · 3566 阅读 · 0 评论 -
DNN:windows使用 YOLO V1,V2
一个yolo,然后进入yolo-windows-master\build\darknet\下面,用vs2013直接打开darknet.sln,选择,x64版本,只要配置OpenCV和pthreads就可以,转载 2017-09-05 13:34:32 · 2927 阅读 · 0 评论 -
VS编译时使用/去除NuGet管理库
之前一直使用NuGet来管理一些第三方的库,但是每次check in代码时候为了保证编译通过,都需要把对应的packages check in。同样,在相应的设置界面关闭即可。若只是想使用本地的一些软件包,而不是网络版本,打开工程的package.config文件,删除掉特定的行即可。转载 2017-09-25 10:46:46 · 6876 阅读 · 0 评论 -
ANN:DNN结构演进History—RNN
前言废话: CNN在图像处理领域的极大成功源于CNN的二维递进映射结构,通过训练多层卷积核来进行特征提取函数训练,在二维图像的稀疏表达和语义关联分析方面有天生的结构优势。而涉及时序问题的逻辑序列分析—边长序列分析,需要引入适合解决其问题的方法。 引入RNN:在深度学习领域,传统的前馈神经网络(feed-forward neural net,简称FNN)具有出色的表现...转载 2015-08-24 11:56:15 · 2635 阅读 · 0 评论 -
ANN:DNN结构演进History—LSTM网络
为了保持文章系列的连贯性,参考这个文章: 此前的文章: DNN结构演进History—LSTM_NN ,这个文章的分析更加全面清晰:Understanding LSTM NetWork 分析了各种LSTM网络,LSTM小品文 :谷歌语音转录背后的神经网络。摘要: LSTM使用一个控制门控制参数是否进行梯度计算,以此避免梯度消失或者爆炸。...原创 2015-08-24 13:19:18 · 883 阅读 · 0 评论 -
Windows下使用Caffe-Resnet
编译历程参考:CNN:Windows下编译使用Caffe和Caffe2 caffe的VS版本源代码直接保留了sample里面的shell命令,当然这些shell命令在Windows平台下是不能运行的,需要稍微修改一下,转换为CMD可以理解的脚本代码。原创 2017-09-24 16:14:27 · 1317 阅读 · 0 评论 -
CNN结构:SPP-Net为CNNs添加空间尺度卷积-神经元层
考虑到传统的CNN构架的输入图像的尺寸都是固定的(例如:256*256),这种人工改变输入图像的尺寸破坏了输入图像的尺度和长宽比例。SPP-Net使用空间金字塔池化实现多尺度输入;SPP只对原图进行一次卷积,得到整张图的feature map,然后找到每个候选框zaifeature map上的映射patch,将此patch作为每个候选框的卷积特征输入到SPP layer和之后的层。翻译 2015-06-18 18:27:35 · 2022 阅读 · 0 评论 -
CNN结构:用于检测的CNN结构进化-一站式方法
人眼能够快速的检测和识别视野内的物体,基于Maar的视觉理论,视觉先识别出局部显著性的区块比如边缘和角点,然后综合这些信息完成整体描述,人眼逆向工程最相像的是DPM模型。 YOLO的特别之处,在于把检测问题表示为一个分类问题,而不是以往的寻找绑定框/包围盒+分类的问题。使用一个网络实现检测的功能,成为一个端到端的图像检测系统。转载 2017-08-19 23:02:08 · 2099 阅读 · 2 评论 -
CNN结构:用于检测的CNN结构进化-结合式方法
类别失衡是影响 one-stage 检测器准确度的主要原因。那么,如果能将“类别失衡”这个因素解决掉,one-stage 不就能达到比较高的识别精度了吗?何凯明团队采用 Focal Loss 函数 来消除这个主要障碍。该团队设计并训练了一个简单的密集目标检测器—RetinaNet,是由一个骨干网络和两个特定任务子网组成的单一网络,骨干网络负责在整个输入图像上计算卷积特征图,并且是一个现成的卷积网络。 第一个子网在骨干网络的输出上执行卷积对象分类;第二个子网执行卷积边界框回归。转载 2017-08-21 22:25:40 · 4582 阅读 · 0 评论 -
AI:IPPR的数学表示-CNN可视化语义分析
ANN是个语义黑箱的意思是没有通用明确的函数表示,参数化的模型并不能给出函数的实际意义,甚至不能以解析函数的形式表示。而CNN在图像处理方面具有天然的理论优势,而Conv层和Polling层,整流层等都有明确的意义。可以跳过函数形式直接进行语义级别的解析。 可视化是直观理解的一个重要方式,CNN可视化可以辅助对特定数据集的特定网络进行语义级别的解析。转载 2017-07-24 11:46:23 · 608 阅读 · 0 评论 -
ANN:神经网络堆叠/进化故事( 从感知机到DRBN )
几乎每一次神经网络的再流行,都会出现:推进人工智能的梦想之说。不过感觉,神经网络的成功是对人的已有经验的覆盖。自然状态是一个DFA,而总结规律的过程则是根据经验的正确性把几何状态转化为抽象代数运算,这就是规则ANN以我们难以理解的网络参数来表示规则,是个不明所以的黑箱。DNN的流行因以其强大的表征能力可拟合形状诡异的流形分布,可以.......................转载 2015-04-16 10:36:59 · 7498 阅读 · 0 评论 -
DNN结构演进History—CNN( 优化,LeNet, AlexNet )
CNN的二维处理递进结构天然适合图像处理,直接把图像模式识别问题从特征提取-模式识别压缩为模式识别一步完成,和传统模式识别方法框架上都已经有了本质的区别。从没有感知域(receptive field) 的深度神经网络,到固定感知域的卷积神经网络,再到可变感知域的递归神经网络,深度学习模型在各种图像识别问题中不断演进。曾经爆炸式增长的参数规模逐步得到有效控制,人们将关于图像的先验知识逐渐用于深度学习,大规模并行化计算平台愈加成熟,这些使我们能够从容应对大数据条件下的图像识别问题。原创 2015-06-18 18:30:13 · 6136 阅读 · 0 评论 -
深度学习:网络的编程模式比较
深度学习的网络编程模式:符号式和命令式编程比较。转载 2016-07-07 17:54:15 · 1235 阅读 · 0 评论 -
EnforceLearning-在线学习-被动强化学习/评价学习
前言: 画图挺好:深度学习进阶之路-从迁移学习到强化学习 固定知识系统:专家系统给出了知识节点和规则。专家系统一次性构建成型。运行方式为基于知识的推理。 专家系统使用粒度描述准确性,依靠分解粒度解决矛盾,并反馈知识和推理规则更新。专家系统与机器学习有本质区别,但从机器学习的角度看,专家系统是一个给出了规则/函数又给了函数参数的学习模型,是...原创 2016-06-02 13:19:28 · 2619 阅读 · 0 评论 -
EnforceLearning-主动强化学习
前言: 被动学习Agent由固定的策略决定其行为。主动学习Agent必须自己决定采取什么行动。 具体方法是: Agent将要学习一个包含所有行动结果概率的完整模型,而不仅仅是固定策略的模型; 接下来,Agent自身要对行动做出选择( 它需要学习的函数是由最优策略所决定的,这些效用遵循 Berman方程 );...原创 2016-06-04 14:11:49 · 3965 阅读 · 0 评论 -
CNN结构:MXNet设计和实现简介
实时的计算引擎,根据硬件定制的计划性的操作运算;高效的CPU和GPU内存分配和回收机制;全局资源管理器,例如随机生成的数据和临时空间; 同步动态的N维数组,可提供弹性规划的MxNet程序;; 静态的符号图,提供高效的符号图的执行和优化; 一个前向计算和回溯优化的操作符; SimpleOp: 一个标准样式的扩展了NDArray的操作符系列。 网络配置-符号表的构建。用以构建计算图的一种通路; KVStore: 键-值存储接口,给出了参数同步的有效方式;Data Loading(IO): 分布式的IO系翻译 2017-11-10 14:48:32 · 1398 阅读 · 0 评论 -
TensorFlow升级1.4:Cannot remove entries from nonexistent file \lib\site-pack
pip install --upgrade --ignore-installed setuptools,问题解决!转载 2017-11-17 11:30:47 · 2803 阅读 · 0 评论 -
TensorFlow:Windows下使用TensorFlow-Python版本
解决方法:下载whl文件:protobuf-3.4.0-py3-none-any.whltensorflow-1.4.0-cp35-cp35m-win_amd64.whl直接安装转载 2017-11-15 16:04:44 · 8355 阅读 · 0 评论 -
Eclipse + Pydev开发Python时import报错解决方法
添加配置之后会导致上层目录.. 的引用不能成功,于是换用PyCharm作为开发工具。 使用Eric6和Pycharm混合,取代PyDev转载 2017-11-16 16:09:40 · 1218 阅读 · 0 评论 -
pycuda installation error: command 'gcc' failed with exit status 1
sudo get edit ~./bashrc添加export PATH=/usr/local/cuda/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATHexport CUDA_ROOT=/usr/local/cuda此后Pycuda安装成功。转载 2017-12-04 10:49:24 · 3387 阅读 · 0 评论 -
TensorFlow: Could not load requested Qt binding.
可以在其他IDE中引入TensorFlow,但是仍然不能使用,因为老的matplotlib文件使用了pyqt4. 卸载matlpotlib,重装。 安装keras,可以使用TensorFlow。原创 2017-12-12 17:03:18 · 807 阅读 · 0 评论 -
MaskRCNN路标:TensorFlow版本用于抠图
MaskRCNN用于检测路标,作为更详细的目标检测,用以得到更精准的额路标位置,路标的几何中心点,用于构建更为精准的拓扑地图,减少构图误差。 抠图工具已经完成,把框抠出来,用0值表示背景。原创 2017-12-12 17:16:02 · 5699 阅读 · 10 评论 -
CNN结构:Windows使用FasterRCNN-C++版本
参考文章:Windows下VS2013 C++编译测试faster-rcnn。 本文与作者的所写方法有些许不同,欲速则不达,没有按照作者的推荐方法,绕了个弯弯。 Windows版本纯C++版本的FasterRCNN比较难找,且懒得翻译Matlab版本代码,暂时可用的是这个项目:Windows下VS2013 C++编译测试faster-rc...原创 2017-11-28 10:06:21 · 2368 阅读 · 3 评论 -
Caffe: Caffe的Python接口
你所添加的路径是:export PYTHONPATH=/home/wishchin/caffe-master/python:$PYTHONPATH而非:export PYTHONPATH=/home/wishchin/caffe-master/python/caffe:$PYTHONPATH修改后update一下,或者重启,可以在任一项目中import caffe对于Eclipse,可以在preference-python-Interpretor里面直接添加路径原创 2015-04-06 21:35:27 · 3013 阅读 · 0 评论 -
ANN:DNN结构演进History—LSTM_NN
语音识别和动作识别(Action、Activities) 等一些时序问题,通过微分方式可以视为模式识别方法中的变长模式识别问题。语音识别的基元为音素、音节,字母和句子模式是在时间轴上的变长序列;Action的基元为Pose,action的识别为pose的时间序列模式。 我们跟随时间的脚步,试图解释现在、理解过去、甚至预测未来........ 在概率分析的层面,RNN通转载 2015-01-05 17:00:25 · 5380 阅读 · 3 评论 -
Caffe2:段错误(核心 已转储)
测试Caffe的时候,cd ~ && python -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure" 出现了 段错误(核心 已转储) 错误。 修改方法: 使用了387版本的驱动程序,把...转载 2018-01-26 16:53:17 · 2257 阅读 · 2 评论 -
人工机器:TM、VNM和NTM的内存机制
从图灵机的原始模型分析,神经图灵机包含两个基本组成部分:神经网络控制器和记忆库,控制器通过输入输出向量和外界交互。不同于标准神经网络的是,控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机,我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦,决定寻址位置。翻译 2017-02-04 15:55:50 · 1222 阅读 · 0 评论 -
Caffe2:ubuntu修改链接方式ln
sudo ln -s /usr/local/cuda-8.0 cuda则重新建立指向cuda-8.0的cuda文件件超链接原创 2018-01-30 10:55:24 · 1304 阅读 · 0 评论 -
CNN:Windows下编译使用Caffe和Caffe2
用于检测的CNN分为基于回归网络的方法和基于区域+CNN网络的方法,其中基于回归网络的方法典型为YOLO9000,可以兼容使用VGG-Net框架。其中基于区域+CNN网络方法,大量使用了Caffe作为基础CNN框架。 准备工作(python27环境,X64平台,使用Vs2013和Vs2015): 1. 安装 VcforPython27 9.0或者安装VS2010版本。此步骤...转载 2017-09-14 14:28:31 · 8659 阅读 · 5 评论 -
Caffe2:添加CUDA路径
需要添加lib库路径: 在 /etc/ld.so.conf.d/加入文件 cuda.conf原创 2018-01-30 15:12:00 · 3338 阅读 · 0 评论 -
Caffe2:python -m caffe2.python.operator_test.relu_op_test
1. 进行语句测试时候,出现问题, 设置环境变量CUDA_VISIBLE_DEVICES参考: cuda设置指定可见方法 在/etc/profile文件或者~/.bashrc末尾添加以下行: export CUDA_VISIBLE_DEVICES=0,1 ##仅显卡设备0,1GPU可见。可用的GPU可通过nvidia-smi -L命令查看2原创 2018-01-30 16:01:29 · 1021 阅读 · 0 评论 -
CNN结构基元:纹理结构和纹理基元方程化GLOH、Gabor...(Code)
模式识别专注于寻找相同模式的共性和不同模式的分离。CNN把特征提取全局化,其中重要的一个是纹理特征,利用卷积核来表示纹理基元,用以重现模式,应如何显示表示。 第一次使用纹理特征,2012年,使用了灰度共生矩阵:灰度共生矩阵-/Laws特征。此后LBP特征也是一种常用的特征:局部二元模式LBP特征。 此外Gabor变换用以提取纹理,可以使用变换后的能量和方差进行计算特...原创 2017-12-26 11:02:28 · 5462 阅读 · 0 评论 -
CNN结构:色彩特征提取-色彩属性HSV空间(色彩冷暖初始)
来自于百科:色彩是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。人对颜色的感觉不仅仅由光的物理性质所决定,比如人类对颜色的感觉往往受到周围颜色的影响。有时人们也将物质产生不同颜色的物理特性直接称为颜色。人眼对色彩的感知一般来源于来自于光源的直射色和物体表面的反射色。基础理论,查看百度经验:色彩基础知识 。下面文章摘抄了一小部分。原创 2017-11-23 17:49:13 · 7322 阅读 · 0 评论 -
CNN结构:色彩空间建模-色彩空间分析
原文: 色彩空间基础 好一个NB的知乎专栏:色彩空间基础 第一章:色彩空间基础 关于色彩分析,引出了专门的数学基础。整个过程给出了...原创 2017-11-21 18:12:31 · 1110 阅读 · 0 评论 -
Caffe RPN :error C2220: warning treated as error - no 'object' file generated
在 caffe里面添加rpn_layer.cpp之后,总是出现 error C2220: warning treated as error - no 'object' file generated 这种错误。 后面跟着: warning 4819 存在不支持的非Unicode字符集 寻找几种方法: 删除掉所有无效字符; 找到紧跟erro...原创 2018-03-08 11:45:38 · 1606 阅读 · 0 评论 -
CNN结构:用于检测的CNN结构进化-分离式方法
基于CNN的目标检测框架主要有两种:一种是 one-stage ,例如 YOLO、SSD 等,这一类方法速度很快,但识别精度没有 two-stage 的高,其中一个很重要的原因是,利用一个分类器很难既把负样本抑制掉,又把目标分类好。 另外一种目标检测框架是 two-stage ,以 Faster RCNN 为代表,这一类方法识别准确度和定位精度都很高,但存在着计算效率低,资源占用大的问题。转载 2017-08-15 10:27:38 · 2051 阅读 · 0 评论 -
Caffe RPN:把RPN网络layer添加到caffe基础结构中
在测试MIT Scene Parsing Benchmark (SceneParse150)使用FCN网络时候,遇到Caffe错误。 遇到错误:不可识别的网络层crop 网络层 CreatorRegistry& registry = Registry(); CHECK_EQ(registry.count(type), 1) &...原创 2018-03-14 09:56:25 · 443 阅读 · 0 评论