人工智能
文章平均质量分 66
hai008007
这个作者很懒,什么都没留下…
展开
-
协方差矩阵以及PCA(主成分分析)
协方差矩阵参考博文:https://blog.csdn.net/u013719780/article/details/78352262主成分分析法参考博文:注意协方差矩阵的获得:https://blog.csdn.net/u013719780/article/details/78352262恢复的:https://blog.csdn.net/witnessai1/arti...转载 2019-01-06 16:36:35 · 2007 阅读 · 0 评论 -
增强学习(强化学习)基础之动态规划寻找最优解
https://zhuanlan.zhihu.com/p/28084955转载 2018-05-12 19:16:04 · 2482 阅读 · 0 评论 -
caffe中softmax函数的正向传播与反向传播
1.前向传播:template <typename Dtype>void SoftmaxLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) { const Dt转载 2018-05-06 12:36:54 · 504 阅读 · 0 评论 -
卷积神经网络的反向传播算法
看了很多博客,很多都把matlab的卷积操作与CNN的卷积操作混淆了。matlab的卷积是数学意义上的卷积,在做正向传播的时候需要卷积核反转180度。而CNN中卷积核是需要训练的参数,所以反转意义不大。这里转一篇相对靠谱的解读,接下来需要看caffe的源码,如果与源码对应,那么解释是对的,如果不对应,还需要修改一些细节。博主:https://www.cnblogs.com/pinard/p/649...转载 2018-05-06 11:02:23 · 1317 阅读 · 0 评论 -
图像的语义分割
处理的方法架构:前 DL 时代的语义分割工作多是根据图像像素自身的低阶视觉信息(Low-level visual cues)来进行图像分割。由于这样的方法没有算法训练阶段,因此往往计算复杂度不高,但是在较困难的分割任务上(如果不提供人为的辅助信息),其分割效果并不能令人满意。在计算机视觉步入深度学习时代之后,语义分割同样也进入了全新的发展阶段,以全卷积神经网络(Fully convolutiona...转载 2018-05-06 10:14:58 · 941 阅读 · 0 评论 -
caffe卷积操作的源码解析
我认为这两位博主的理解是对的。 https://blog.csdn.net/Mrhiuser/article/details/52672824 https://blog.csdn.net/jiongnima/article/details/69736844 搜到我这篇博客的建议直接读他们的原作。我只做学习参考caffe im2col详解本文讲解的是caffe中卷积过程,众所周知caffe中...转载 2018-05-05 21:00:06 · 1463 阅读 · 0 评论 -
增强学习(强化学习)基础之马尔科夫决策过程
https://zhuanlan.zhihu.com/p/28084942这位知乎的博主是根据David Silver的课件讲的。我认为讲得比较清楚。可以参考转载 2018-05-11 21:42:51 · 217 阅读 · 0 评论 -
Deep Reinforcement Learning 深度增强学习资源
1 学习资料增强学习课程 David Silver (有视频和ppt):http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html最好的增强学习教材:Reinforcement Learning: An Introductionhttps://webdocs.cs.ualberta.ca/~sutton/book/the-book.html ...转载 2018-05-10 22:07:51 · 439 阅读 · 0 评论 -
怎样学习深度强化(增强)学习
Learning Reinforcement Learning (with Code, Exercises and Solutions) Skip all the talk and go directly to the Github Repo with code and exercises.Why Study Reinforcement LearningReinforcement Learning...原创 2018-05-10 20:58:52 · 403 阅读 · 0 评论 -
深度强化学习之简介
阅读目录一、M-P模型二、早期神经网络1.两层神经网络2.三层神经网络(带有隐层)3.BP算法三、深度神经网络1.CNN的解决之道2.CNN整体结构四、总结五、马尔可夫决策过程(MDP)1.基本定义2.值函数3.Q学习阅读目录神经网络+增强学习马里奥AI实现方式探索 ——神经网络+增强学习回到目录神经网络+增强学习回到目录马里奥AI实现方式探索 ——神经网络+增强学习儿时我们都曾有过一个经典游戏的...转载 2018-05-10 18:04:02 · 1034 阅读 · 0 评论 -
Win10下用Anaconda安装TensorFlow
笔者之前在学习TensorFlow,也在自己的笔记本上完成了安装,在PyCharm中进行学习。但是最近为了使用python的科学计算环境,我把之前的环境卸载了,并用Anaconda重新安装了TensorFlow,由于自己的笔记本已经很旧了,显卡不行,所以这里介绍一下cpu版本的安装方法和自己遇到的一些坑,截图甚多。这里直接上干货:1.安装Anaconda选择相应的Anaconda进行安装,下载地址...转载 2018-05-10 15:07:26 · 154 阅读 · 0 评论 -
多分类问题中的mAP计算
图表参考http://blog.sina.com.cn/s/blog_9db078090102whzw.html 比如有10类,20个样本,判断为其中一类car的置信度如下表所示,降序排列。 从表中gt_label可以看出正例是6个,其他是负例。PASCAL VOC CHALLENGE 2010年后计算AP的方法是:假设N个样本中有M个正例,如上表我们N是20,M是6,则有...转载 2018-04-25 09:52:34 · 2433 阅读 · 0 评论 -
word2vec
学习word2vec看这两篇博文:https://blog.csdn.net/mytestmy/article/details/26969149https://blog.csdn.net/itplus/article/details/37969519原创 2018-05-02 22:22:43 · 131 阅读 · 0 评论 -
增强学习(强化学习)基础之蒙特卡洛方法
https://blog.csdn.net/coffee_cream/article/details/66972281https://zhuanlan.zhihu.com/p/25743759https://zhuanlan.zhihu.com/p/28107168这三篇文章要结合看才能看懂,相互补充转载 2018-05-13 15:38:50 · 948 阅读 · 0 评论 -
增强学习(强化学习)基础之TD差分法
https://blog.csdn.net/coffee_cream/article/details/70194456https://zhuanlan.zhihu.com/p/28107168https://zhuanlan.zhihu.com/p/28108498https://zhuanlan.zhihu.com/p/25913410转载 2018-05-13 21:19:54 · 1555 阅读 · 0 评论 -
使用faster-rcnn训练自己的数据集(pytorch版本0.4.1)
参考博客:https://blog.csdn.net/weixin_43380510/article/details/83004127使用的代码:https://github.com/Lite-Java/faster-rcnn.pytorch-0.4.1-原创 2018-12-31 19:45:17 · 1816 阅读 · 0 评论 -
SVM总结
看到一篇总结SVM方法的文章:http://www.cnblogs.com/bentuwuying/p/6444249.html其中SMO算法还得需要看论文原文以及李航老师的《统计学习方法》中的解释其代码实现可以参考libsvm...原创 2018-12-31 17:11:29 · 260 阅读 · 0 评论 -
图像标注工具
已经有人总结了:https://blog.csdn.net/chaipp0607/article/details/79036312转载 2018-12-14 20:18:27 · 554 阅读 · 0 评论 -
pytorch如何准备数据集
参考链接:https://blog.csdn.net/PC1022/article/details/80440913(1)使用torchvision.datasets.ImageFolder,不过文件夹要按照下图固定格式来创建数据集。在目录下分别建cat和dog文件夹,这就相当于做标签(2)如果采用pytorch模块自带的数据集就可以使用torchvision.datasets(3...原创 2018-12-09 00:15:26 · 1020 阅读 · 1 评论 -
Resnet的理解——(1)
网络深度是影响深度卷积神经网络性能的一大因素,但是研究者发现当网络不断加深时,训练的结果并不好。这不是因为过拟合,因为过拟合的话应该是训练集上结果好,测试集不好,但深度网络出现的现象是训练集上的效果就不好。而且这种现象还会随着深度加深而变差。这并不符合逻辑,因为深层网络在训练时,可以是在浅层网络的函数上加上一个恒等变换。而深层网络显然没有把这种恒等变换学习到。因此,提出了Resnet。网络结构...原创 2018-12-08 13:28:34 · 366 阅读 · 0 评论 -
重新认识BN算法
Google在2015年发表论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。随后BN的作用被证实,大量的神经网络都会采用在激活层前面加入BN层。起初我认为BN层只是一个简单的数据预处理,随着研究的深入,我发现其背后的原理值得深思。论文地址:https...原创 2018-11-26 13:39:59 · 398 阅读 · 0 评论 -
全连接神经网络的反向传播算法(BP)
一、预热篇参考链接:http://colah.github.io/posts/2015-08-Backprop/要理解的主要点:路径上所有边相乘,所有路径相加反向传播算法(Backpropagation)已经是神经网络模型进行学习的标配。但是有很多问题值得思考一下:反向传播算法的作用是什么? 神经网络模型的学习算法一般是SGD。SGD需要用到损失函数C关于各个权重参数的偏导数。一个...原创 2018-11-05 16:51:47 · 7394 阅读 · 0 评论 -
增强学习(强化学习)基础之策略梯度
http://www.52ml.net/18133.htmlhttps://zhuanlan.zhihu.com/p/28348110这两篇文章必须结合起来理解。上一篇文章介绍价值函数近似,用模型拟合价值函数。这篇文章我们介绍梯度策略,用模型直接拟合策略。 1. 策略参数化 强化学习有两种场景。一种是离散的强化学习场景。在这种场景下,我们从状态抽取状态特征向量 s^s^。和价...转载 2018-05-22 19:20:01 · 2065 阅读 · 0 评论 -
增强学习(强化学习)基础之价值函数的近似表示
https://zhuanlan.zhihu.com/p/28223841转载 2018-05-22 14:04:59 · 613 阅读 · 0 评论 -
windows运行gym出现get_screens NotImplementedError: abstract
down vote accehttps://stackoverflow.com/questions/47615458/error-following-env-render-for-openaiYou have to downgrade pyglet 3 to pyglet 1.2.4.just type: pip install pyglet==1.2.4 in yo...原创 2018-05-14 22:53:58 · 3237 阅读 · 0 评论 -
如何重构tensorflow model
Structuring Your TensorFlow Models Defining your models in TensorFlow can easily result in one huge wall of code.How to structure your code in a readable and reusable way? For the inpacient o...转载 2018-05-08 11:19:17 · 373 阅读 · 0 评论 -
增强学习(强化学习)算例之Q-learning
我认为本文是学习率为1的Q-learning。为什么这么讲呢?根据Q-learning算法:更新一个状态行为对的Q价值时,采用的不是当前遵循策略的下一个状态行为对的Q价值,而是采用的待评估策略产生的下一个状态行为对的Q价值。公式如下:式中,红色部分的TD目标是基于另一个评估策略产生的行为得到的价值。Q学习最主要的表现形式是:个体遵循的策略是基于当前状态行为价值函数的一个策略,而目标策略是基于当前状...原创 2018-05-14 16:58:37 · 9833 阅读 · 1 评论 -
机器学习中如何处理缺失数据?
如果缺失值的样本占总数比例极高,一般直接舍弃了,否则作为特征加入的话,可能会带入noise,影响结果如果样本缺失值适中,而该属性为非连续值特征属性(比如说类目属性),可以把NAN作为新类别,加到类别特征中。如果样本缺失值适中,而该属性为连续值特征属性,可以考虑一个step把它离散化,然后把NAN作为一个type加到类目属性中。如果缺失的值不是特别多,可以进行填充:固定值填充、均值填充、上/下数据填...原创 2018-04-24 17:55:18 · 1476 阅读 · 0 评论 -
特征工程
作者:城东链接:https://www.zhihu.com/question/28641663/answer/110165221来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。我来写一个入门级的实践吧,为了保持连贯性,引用了全文:作者:城东链接:特征工程到底是什么? - 城东的回答来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。目录1 特...转载 2018-04-24 17:22:13 · 137 阅读 · 0 评论 -
权重初始化
深度学习的初始化主要有以下方法:1.高斯分布:在tensorflow中代码如下所示:w = tf.Variable(tf.random_normal(shape, stddev=0.01))w = tf.Variable(np.random.randn())看上去都是随机生成符合正态分布的值,但是实际上tf.random_normal(shape, stddev=0.01) 是从正态分布中返回符合...原创 2018-03-28 23:01:22 · 5191 阅读 · 0 评论 -
反向传播算法的推导
一、反向传播的由来在我们开始DL的研究之前,需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构,我不再多说,网上有大量的学习资料,主要就是搞清一些名词:输入层/输入神经元,输出层/输出神经元,隐层/隐层神经元,权值,偏置,激活函数接下来我们需要知道ANN是怎么训练的,假设ANN网络已经搭建好了,在所有应用问题中(不管是网络结构,训练手段如何变化)我们的目标是不会变的,那就是网...转载 2018-03-25 21:35:08 · 521 阅读 · 0 评论 -
加拿大银行首席分析师对吴恩达深度学习课程的领悟心得
吴恩达先生(Andrew Ng)的3门课程都超级有用,教会了我许多实用的知识。吴教授擅长过滤掉流行词汇,用一种清晰简洁的方式解释了一切。比如他阐明了监督式深度学习(supervised deep learning)只不过是一个多维的曲线拟合程序,而其他任何具有代表性的理解,如人类神经系统的通用参照,则有些太过玄乎了。官方介绍说只需要有一些基本的线性代数和Python编程知识就可以听懂这些课程。然而...原创 2018-03-24 22:33:43 · 228 阅读 · 0 评论 -
给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
numpy(Numerical Python extensions)是一个第三方的Python包,用于科学计算。这个库的前身是1995年就开始开发的一个用于数组运算的库。经过了长时间的发展,基本上成了绝大部分Python科学计算的基础包,当然也包括所有提供Python接口的深度学习框架。numpy在Linux下的安装已经在5.1.2中作为例子讲过,Windows下也可以通过pip,或者到下面网址下...转载 2018-03-24 22:24:28 · 226 阅读 · 0 评论 -
Logistic代码实战
转载过程中,图片丢失,代码显示错乱。为了更好的学习内容,请访问原创版本:http://www.missshi.cn/api/view/blog/59aa08fee519f50d04000170Ps:初次访问由于js文件较大,请耐心等候(8s左右)本节课中,我们将学习如何利用Python的来Logistic。这是第一节Python代码内容,接下来我们将从一些基本的Python编程开始讲述。 本文中的...转载 2018-03-24 21:50:27 · 1057 阅读 · 0 评论 -
数据预处理方法
去中心化,除以标准差:原创 2018-03-24 20:23:05 · 253 阅读 · 0 评论 -
梯度爆炸与梯度消失的原因以及解决方法,局部极小值问题以及学习率问题(对SGD的改进)
梯度爆炸与梯度消失的原因:简单地说,根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话( ),那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0( )。下面是数学推导推导。假设网络输出层中的第 个神经元输出为,而要学习的目标为 。这里的 表示时序,与输入无关,可以理解为网络的第 层。若采用平方误差作为损失函数,第 个输出神经元对应的损失为 将损...原创 2018-03-24 13:26:15 · 14357 阅读 · 1 评论 -
softmax分类器
softmax的输出(归一化的分类概率)损失函数:交叉熵损失(cross-entropy loss)其输入值是一个向量,向量中元素为任意实数的评分值输出一个向量,其中每个元素值在0到1之间,且所有元素之和为1...原创 2018-03-24 11:33:44 · 1002 阅读 · 0 评论 -
深度学习中激活函数的作用
0、从深度学习开始说起今天检索多标签分本分类的文献时,遇到一个关于激活函数的疑惑:如果有大牛看到,知道如何更好的理解这句话的含义,希望在评论里解惑!由惑而生,所以我打算总结一下深度学习模型中常用的激活函数的一些特性,方便大家日后为模型选择合适的激活函数。 说到激活函数,就不能不提神经网络或者深度学习,从一个新手入门深度学习领域,我觉得首先需要理解三个基本的构成要素:我把理解激活函数作为深度学习入...转载 2018-03-29 21:35:08 · 10406 阅读 · 2 评论 -
Batch Normalization
1. What is BN?顾名思义,batch normalization嘛,就是“批规范化”咯。Google在ICML文中描述的非常清晰,即在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入(即当),...转载 2018-03-29 21:18:43 · 298 阅读 · 0 评论 -
分类模型评估之ROC-AUC
ROC曲线和AUCROC(Receiver Operating Characteristic,接受者工作特征曲线)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。博文介绍ROC和AUC的特点,讨论如何作出ROC曲线图以及计算AUC。AUC是现在分类模型,特别是二分类模型使用的主要离线评测指标之一。相比于准确率、召回率、F1等指标,AUC有一个独特的优势,就是不关...转载 2018-03-23 22:32:55 · 9850 阅读 · 1 评论