![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine learning
文章平均质量分 93
蜗牛一步一步往上爬
计算机视觉研究生
展开
-
Neural Networks and Deep Learning学习笔记ch2 - 反向传播
在上一节中简单介绍了神经网络的结够和sigmoid neuro,以及神经网络的目标函数和学习方法。但是没有讲如何调整权重,通常是需要对目标函数求导,也就是说回避了对目标函数求导这个问题。这一节就将讲述这个问题。关于代价函数的两个假设反向传播算法的目标是计算代价函数对w,bw,b的偏微分∂C∂w\frac{\partial C}{ \partial w}和∂C∂b\frac{\partial C}{原创 2016-01-11 20:45:33 · 2452 阅读 · 5 评论 -
Neural Networks and Deep Learning学习笔记ch3 - 改进神经网络的学习方法
上一章节学习了神经网络中的反向传播算法,反向传播算法的出现,使得大型神经网络的训练变得可能了。这一节,继续学习神经网络中常用到的一些小技巧,用来改善神经网络。学习一个更好的代价函数,交叉熵代价函数。四个正则化(regularization)的方法,L1、L2正则化,以及dropout,数据扩充(data argument),这些方法可以使神经网络有更好的泛化性更好的初始化神经网络的方法一系列原创 2016-01-11 23:06:29 · 2059 阅读 · 0 评论 -
Neural Networks and Deep Learning学习笔记ch1 - 神经网络
最近开始看一些深度学习的资料,想学习一下深度学习的基础知识。找到了一个比较好的tutorial,Neural Networks and Deep Learning,认真看完了之后觉得收获还是很多的。从最基本的感知机开始讲起,到后来使用logistic函数作为激活函数的sigmoid neuron,和很多其他现在深度学习中常使用的trick。把深度学习的一个发展过程讲得很清楚,而且还有很多源码和实验帮原创 2016-01-11 17:00:15 · 6909 阅读 · 0 评论 -
cs231n - assignment1 - linear-svm 梯度推导
Multiclass Support Vector Machine exercise Complete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submission. F原创 2016-07-15 22:59:27 · 8939 阅读 · 6 评论 -
cs231n - assignment1- k-Nearest Neighbor Classifier 梯度推导
assignment web pagek-Nearest Neighbor (kNN) exercise Complete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submis原创 2016-07-14 20:07:23 · 1261 阅读 · 0 评论 -
Understanding LSTM Networks
学习RNN,发现一个很好的 LSTM 讲解。原创 2016-07-29 11:04:11 · 456 阅读 · 0 评论 -
cs231n - assignment1 - neural net 梯度推导
Implementing a Neural Network In this exercise we will develop a neural network with fully-connected layers to perform classification, and test it out on the CIFAR-10 dataset.这里开始采用矩阵的形式来推导梯度,而且将原创 2016-07-18 19:19:10 · 8564 阅读 · 3 评论 -
CS231n Class Notes- lecture11 ConvNets in Practice
这节课主要讲了一些在实际使用 CNN 时的技巧,可以加速训练网络。很多内容需要图解,所以我就直接截图了。所有图都是从 CS231n lecture 11的课件中截取的。The power of small filtersThree 3 x 3 conv gives similar representational power as a single 7 x 7 convolution 这是在 V原创 2016-07-30 20:59:35 · 1728 阅读 · 0 评论 -
SVM中的Dual
在之前关于 support vector 的推导中,我们提到了 dual ,这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:mins.t.f0(x)fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p\begin{aligned}\min&f_0(x转载 2017-05-13 22:24:09 · 4858 阅读 · 0 评论 -
Neural Networks and Deep Learning学习笔记ch6 - 深度学习
在上一章节中讨论了为什么深度神经网络网络会很难训练。这一节就谈谈是如何克服那些困难的,开始正式讨论深度学习(Deep Learning)。 希望通过这样一步一步地介绍能够对深度学习有一个比较清楚的脉络。卷积网络的介绍-Introducing convolutional networks正是因为前面介绍深度神经网络训练起来会有各种问题,所以针对图像领域,提出了一个卷积神经网络。卷积神经网络(Conv原创 2016-01-23 22:42:16 · 948 阅读 · 0 评论 -
Neural Networks and Deep Learning学习笔记ch5 - 为什么深度神经网络很难训练?
深度神经网络前面的章节介绍了反向传播算法和一些常见的改进神经网络的训练效果的方法。前面还只是停留在只有一个隐藏层的神经网络。 如上图所示,这样的一个神经网络就只有输入、输出层和一个隐藏层。在手写字体识别例子中,这样一个简单的神经网络能够达到98%的正确率!可以预料到,如果增加隐藏层的层数,那么神经网络的学习能力将更加强,可以学习到更加抽象的概念。 如上所示为一包含三个隐藏层的神经网络,假如第原创 2016-01-23 21:41:47 · 3374 阅读 · 0 评论 -
Matrix Factorization, Algorithms, Applications, and Avaliable packages
转自:http://blog.csdn.net/abcjennifer/article/details/30371615来源:http://www.cvchina.info/2011/09/05/matrix-factorization-jungle/美帝的有心人士收集了市面上的矩阵分解的几乎所有算法和应用,由于源地址在某神秘物质之外,特转载过来,源地址转载 2015-01-12 21:12:10 · 1208 阅读 · 0 评论 -
SVM
转自:http://www.cnblogs.com/sbaof/p/4118065.html,部分内容修改过用红色显示第七章、支持向量机SVM(非线性)1.逻辑回归支持向量机代价函数:用cost1(z)代替,cost0(z)代替,两个函数的图像:去掉m,用C代替lambda,得支持向量机的算法:支持向量转载 2014-12-23 11:11:36 · 1715 阅读 · 1 评论 -
Support Vector Machines
转自:http://blog.csdn.net/abcjennifer/article/details/7849812本栏目(Machine learning)包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM(Support Vector Machines 支转载 2014-12-23 14:43:17 · 829 阅读 · 0 评论 -
文本处理中的两个分类问题和矩阵运算SVD
部分内容摘自吴军老师著《数学之美》,本文章主要详细说明一下其中的矩阵运算奇异值分解SVD的意义。刚刚学完矩阵分析,里面有讲到奇异值分解,我觉得讲得还不错,理解起来很简单。矩阵书籍参考Carl D. Meter的Matrix Analysis and Applied Linear Algebra。在引入吴军老师《数学之美》的内容之前,先来看看奇异值分解吧。首先来看看奇异值分解的一个实例。原创 2015-01-12 21:22:49 · 1860 阅读 · 0 评论 -
MLE极大似然估计和EM最大期望算法
机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明白,转载 2015-02-05 21:25:09 · 16718 阅读 · 2 评论 -
advice for applying machine learning:Deciding what to do next
转自:http://blog.csdn.net/abcjennifer/article/details/7797502本栏目(Machine learning)包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM(Support Vector Machines 支持向转载 2015-01-02 10:38:36 · 551 阅读 · 0 评论 -
HMM Hidden Markov Model
http://blog.csdn.net/likelet/article/details/7056068隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,转载 2015-01-21 15:04:05 · 1088 阅读 · 0 评论 -
漫谈 HMM之二:Forward-Backward Algorithm
漫谈 HMM之二:Forward-Backward Algorithm上一次 我们介绍了 HMM 模型以及它相关的三个 Task,这一次我们来介绍一下第一个 Task,也就是 Scoring,或者说是 Inference。为了说明 HMM 的多才多艺,我们这次也换一个完全不同的应用场景。现在将镜头切换到火星探测车上。我们需要做的是,比如说,让火星车移动到五十米开外的那个小山坡(比如,绝对位置坐标为转载 2015-10-20 17:25:19 · 2719 阅读 · 0 评论 -
漫谈 HMM之三:Kalman/Particle Filtering
漫谈 HMM:Kalman/Particle Filtering上次我们讲了 HMM 的 Forward-Backward 算法,得到了关于 α\alpha 和 β\beta 的递推公式。不过由于中间需要进行 marginalization,这些式子里有麻烦的积分存在。如果是离散型的随机变量,积分实际上是求和,一般来说就没有什么问题了。但是对于上一次举的火星车移动的例子,实际上随机变量是连续的,比如转载 2015-10-20 17:16:57 · 2071 阅读 · 0 评论 -
漫谈 HMM之一:Definition
漫谈 HMM之一:Definition坊间有流传过这么一段《胡适留学日记》: 7月4日 : 新开这本日记,也为了督促自己下个学期多下些苦功。先要读完手边的莎士比亚的《亨利八世》。 7月13日 : 打牌。 7月14日 : 打牌。 7月15日 : 打牌。 7月16日 : 胡适之啊胡适之!你怎么能如此堕落!先前订下的学习计划你都忘了吗?子曰: “吾日三省吾身。”转载 2015-10-20 18:16:20 · 720 阅读 · 0 评论 -
cs231n - assignment1 - softmax 梯度推导
Softmax exercise Complete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submission. For more details see the assig原创 2016-07-16 15:19:07 · 16516 阅读 · 23 评论