wishchinYang的专栏

       用于检测的CNN分为基于回归网络的方法和基于区域+CNN网络的方法，其中基于回归网络的方法典型为YOLO9000，可以兼容使用VGG-Net框架。其中基于区域+CNN网络方法，大量使用了Caffe作为基础CNN框架。 准备工作（python27环境，X64平台，使用Vs2013和Vs2015）：      1. 安装 VcforPython27 9.0或者安装VS2010版本。此步骤...

当一个CNN用于另一个领域，就使用到了迁移学习。迁移学习是一种用于模型领域泛化和扩展的工具。 文章链接：独家 | 一文读懂迁移学习（附学习工具包） 参考：当深度学习成为过去，迁移学习才是真正的未来？ 知乎：什么是迁移学习？2018年03月15日 17:24:291. 前言迁移学习（Transfer...

           机器人是否能应用于服务最终还是那两条腿值多少钱，而与人交互，能真正地做“服务”工作，还是看那两条胳膊怎么工作。大脑的智能化还是非常遥远的，还是先把感受器和效应器做好才是王道。           关于强化学习，根据Agent对策略的主动性不同划分为主动强化学习（学习策略：必须自己决定采取什么行动）和被动强化学习（固定的策略决定其行为，为评价学习，即Agent如何从成功与失败中...

接上一篇：AI：IPPR的数学表示-CNN基础结构进化（Alex、ZF、Inception、Res、InceptionRes）。 抄自于各个博客，有大量修改，如有疑问，请移步各个原文.....17年的总结...CSDN吞图. 前言：AutoML-NasNet VGG结构和INception结构、ResN...

High-dimensional data can be converted to low-dimensional codes by training a multilayer neural network with a small central layer to reconstruct high-dimensional input vectors. Gradient descent can be used for fine-tuning the weights in such "autoenc

         大模型需要更大量的数据，用以拟合更复杂的假设空间。GAN本身可以用于生成数据，在GAN的学习过程中隐藏了弱监督学习和增强学习的思想。下文主要是对GAN应用于NLP进行相关分析，配图不错，摘抄下来，删除掉关于NLP的部分。本文有大量修改，如有疑虑，请移步原文。       文章：深度生成式模型、DcGAN、应用案例、相关paper       其他参考：生成式模型 & 生成...

前言       作为IP模式识别的CNN初始模型是作为单纯判别式-模式识别存在的，并以此为基本模型扩展到各个方向。基本功能为图像判别模型，此后基于Loc+CNN的检测模型-分离式、end2end、以及MaskCNN模型，而后出现基于CNN的预测模型-AcGans。       CNN作为一个基本判别式模型简化为数学模型依然为一个函数映射f(x)->y;  基于CNN的检测模型数学模型为 L...

太他nia的垃圾了，写完之后点击发布，只保留了前一段，后面的长篇大论全都没了，感情是自动保存草稿的那一段，其他的呢。其他的呢？本地的没有上传上去，这个缓存机制有很大问题，太恶心人了！转移到其他地方吧................

文章链接：个人技术博客的选择：CSDN、博客园、简书、知乎专栏还是Github Page？ 感觉还是Fuck The Dog！看来还是以后把文章写在本地，然后再上传到CSDN吧。被CSDN的缓存机制坑了几次，得非常注意这次事件才行！！！...

前言       attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？        如何从生物学的角度来定义注意力？        大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也可以利用现有网络的预训练参数。这大大扩展了这些技巧的适用范围。       参考此文：Recurrent...

        为了保持文章系列的连贯性，参考这个文章：        此前的文章： DNN结构演进History—LSTM_NN  ，这个文章的分析更加全面清晰：Understanding LSTM NetWork 分析了各种LSTM网络，LSTM小品文 ：谷歌语音转录背后的神经网络。摘要：        LSTM使用一个控制门控制参数是否进行梯度计算，以此避免梯度消失或者爆炸。...

原文链接：OCR算法-CNN+BLSTM+CTC架构由于作者使用了Boost1.57-Vc14，而1.57的VC14版本作者没有给出下载链接，因此需要自行编译，建议换掉作者的第三方库，使用其他的库，比如：这篇文章：VS编译Caffe非常简单。网盘：3rdlibVC14。有少量的改动，如有疑问，请移步原文，直接到作者GitHub界面...链接：https://github.com/senli...

原文-LSTM的反向传播：深度学习(6)-长短期网路；此处仅摘抄一小段，建议拜访全文。LSTM的参数训练：https://www.jianshu.com/p/dcec3f07d3b5；LSTM的参数训练和前向计算比RNNs还是稍微复杂一些。长短时记忆网络的前向计算前面描述的开关是怎样在算法中实现的呢？这就用到了门（gate）的概念。门实际上就是一层全连接层，它的输入是一个向量，输出是一...

前言        CNN刷分ImageNet以来，迁移学习已经得到广泛的应用，不过使用ImageNet预训练模型迁移到特定数据集是一个全集到子集的迁移，不是标准定义的迁移学习（模型迁移），而是“模型移动”。若对网络结构不加修改地进行运用，则只是一个参数调优的过程。        迁移学习（Transfer Learning,TL）对于人类来说，就是掌握举一反三的学习能力。比如我们学会骑自...

        在古老的CNN方法出现以后，并不能适用于图像中目标检测。20世纪60年代，Hubel和Wiesel( 百度百科 )在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。        参考：DNN的演进结构——CNN     ...

原文：：Multi-Forest：A chameleon in tracking，CVPR2014  下的蛋...原文使用随机森林的优势，在于可以使用GPU把每棵树分到一个流处理器里运行，容易并行化实现。OpenCV中的使用：OpenCV：使用 随机森林与GBDT随机森林的优点：http://www.cnblogs.com/wentingtu/archive/2011/12/13/

        随机森林顾名思义，是用随机的方式建立一个森林。简单来说，随机森林就是由多棵CART（Classification And Regression Tree）构成的。对于每棵树，它们使用的训练集是从总的训练集中有放回采样出来的，这意味着，总的训练集中的有些样本可能多次出现在一棵树的训练集中，也可能从未出现在一棵树的训练集中。在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机...

CNN作为图像识别和检测器，在分析物体结构分布的多类识别中具有绝对的优势。通多多层卷积核Pooling实现对物体表面分布的模板学习，以卷积核的形式存储在网络中。而对于统计特征，暂时没有明确的指导规则。opencv3中的ml类与opencv2中发生了变化，下面列举opencv3的机器学习类方法实例，以随机森林为例。

关于时序分析： 我们跟随时间的脚步，试图解释现在、理解过去、甚至预测未来........时间序列是一种重要的高维数据类型，它是由客观对象的某个物理量在不同时间点的采样值按照时间先后次序排列而组成的序列，在经济管理以及工程领域具有广 泛 应用。 目前重点的研究内容包括时间序列的模式表 示、时间序列 的相似性度量和查询、时间序列的聚类、时间序列的异常检测、时间序列的分类、时间序列的预测等。

在线学习算法有一些列方法，每种方法都可分解为以下几步：首先，算法接受一个实例；接着算法预测实例的标签；第三 算法接受实例的真实标签（有正确和错误之分，根据结果来调整算法）。第三步比较重要，因为算法根据标签反馈来更新算法参数。本文给出了一个简单데感知器模型和代码分析。   KeyWord：标签反馈;Survey：online machine learning is a model of induction that learns one instance at a tim

漂移问题是on-line tracking最主要的问题。引起漂移最主要的原因就是，分类器更新时使用的样本本身的准确率存在问题。为了解决这个问题。有的作者采取的方式是放弃掉tracker得到的结果。....。而本文作者处理的方式是：既然所得到的样本标签的准确率有问题，那么对得到的样本进行扩展，作为一个事件集。选出里面错误率最低的时间来更新目标的位置，也由此来更新分类器。准确率和速度都会好很多。

原文链接：Python opencv实现的手写字符串识别--SVM 神经网络 K近邻 Boosting、

文章讲解比较详细，且有Python代码，可以作为有用的参考。转载博客时候，竟然抄错成OBB了，也是悲剧................ 原文链接：http://blog.csdn.net/zhufenglonglove/article/details/51785220参数：OOB-袋外错误率 构建随机森林的另一个关键问题就是如何选...

来看看今日头条首席科学家的论文：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF使用LSTM方法进行序列标注，完成大规模标注问题

本文从图像级别进行游戏，跨过特征-规则-策略的显示分层，有一定的趣味性。说到机器学习最酷的分支，非Deep learning和Reinforcement learning莫属（以下分别简称DL和RL）。这两者不仅在实际应用中表现的很酷，在机器学习理论中也有不俗的表现。DeepMind 工作人员合两者之精髓，在Stella模拟机上让机器自己玩了7个Atari 2600的游戏，结果是玩的冲出美洲，走向世界，超越了物种的局限。不仅战胜了其他机器人，甚至在其中3个游戏中超越了人类游戏专家。

第四章：SoftMax回归UFLDL Tutorial 翻译系列：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial简介：见 AI : 一种现代方法。Chapter21. Reinforce Learning p.703            Softmax函数为多个变量的Logitic函数的泛化.     ...

前言废话：       CNN在图像处理领域的极大成功源于CNN的二维递进映射结构，通过训练多层卷积核来进行特征提取函数训练，在二维图像的稀疏表达和语义关联分析方面有天生的结构优势。而涉及时序问题的逻辑序列分析—边长序列分析，需要引入适合解决其问题的方法。       引入RNN：在深度学习领域，传统的前馈神经网络（feed-forward neural net，简称FNN）具有出色的表现...

kmp算法是一个效率非常高的字符串匹配算法。不过由于其难以理解，所以在很长的一段时间内一直没有搞懂。虽然网上有很多资料，但是鲜见好的博客能简单明了地将其讲清楚。在此，综合网上比较好的几个博客（参见最后），尽自己的努力争取将kmp算法思想和实现讲清楚。

编译历程参考：CNN：Windows下编译使用Caffe和Caffe2 caffe的VS版本源代码直接保留了sample里面的shell命令，当然这些shell命令在Windows平台下是不能运行的，需要稍微修改一下，转换为CMD可以理解的脚本代码。

此数据集描述了5星之内的电影不受限制的标记，用于给出用户推荐。数据集包含了138493个用户对27278个电影的20000263个评分和465564个标签。此评价收集于1995年1月到2015年3月之间，并在2016年10月17日更新为csv格式。用户为随机选取，每个选取的用户至少评分20个电影。没有人口统计信息。每个用户只给出一个ID，且不涉及其他私人信息。

前言：         画图挺好：深度学习进阶之路-从迁移学习到强化学习         固定知识系统：专家系统给出了知识节点和规则。专家系统一次性构建成型。运行方式为基于知识的推理。         专家系统使用粒度描述准确性，依靠分解粒度解决矛盾，并反馈知识和推理规则更新。专家系统与机器学习有本质区别，但从机器学习的角度看，专家系统是一个给出了规则/函数又给了函数参数的学习模型，是...

前言：         被动学习Agent由固定的策略决定其行为。主动学习Agent必须自己决定采取什么行动。        具体方法是：             Agent将要学习一个包含所有行动结果概率的完整模型，而不仅仅是固定策略的模型；            接下来，Agent自身要对行动做出选择（ 它需要学习的函数是由最优策略所决定的，这些效用遵循 Berman方程 ）；...

人工智能的定义为基于表观的行为定义，即图灵测试，可以形式化为模式识别。智能从知识论的角度分析，归纳明确知识规则构建知识图谱系统形成专家系统，而通过数据获得归纳规则约束参数为机器学习系统，即基于数据的模式识别系统。大量的机器学习模型，可以抽象为特定形式的神经网络，处理输入数据为定长输入或者变长输入。可处理变长数据的NN代表为RNN-循环神经网络。 知识系统应用于现实...