Machine Learning
文章平均质量分 92
langb2014
这个作者很懒,什么都没留下…
展开
-
机器学习中的Embedding
来自知乎的一个解释:(版权归原作者所有,仅供学习,禁止商用)https://zhuanlan.zhihu.com/p/46016518解释还是有点感觉迷糊,数学解释:Embedding在数学上表示一个maping, f: X -> Y, 也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然)和st...转载 2019-10-17 15:31:30 · 5450 阅读 · 0 评论 -
什么是end-to-end神经网络?
来源:知乎著作权归作者所有。讨论:张旭--------------------------------->端到端指的是输入是原始数据,输出是最后的结果,原来输入端不是直接的原始数据,而是在原始数据中提取的特征,这一点在图像问题上尤为突出,因为图像像素数太多,数据维度高,会产生维度灾难,所以原来一个思路是手工提取图像的一些关键特征,这实际就是就一个降维的过程。那么问题来了转载 2016-11-03 11:03:53 · 34489 阅读 · 4 评论 -
Caffe的Python接口进行Cifar10可视化
由于我上一篇想调可视化的内容,不知道为什么调不起来,这个先转载过来保存一下。地址根据训练好的cifar10数据的model,从测试图片中选出一张进行测试,并进行网络模型、卷积结果及参数可视化注意:本文中代码运行在windows+ipython notebook下,已事先配置好caffe的python接口导入必需的包123456789转载 2016-11-08 15:26:10 · 3453 阅读 · 2 评论 -
Caffe-Python接口常用API参考
本文整理了pycaffe中常用的APIPackages导入123import caffefrom caffe import layers as Lfrom caffe import params as PLayers定义Data层定义lmdb/leveldb Data层定义1234567原创 2016-11-08 15:27:55 · 22986 阅读 · 9 评论 -
Learning中的多类分类,多标签分类,多示例学习,多任务学习,
多类分类(Multiclass Classification)一个样本属于且只属于多个类中的一个,一个样本只能属于一个类,不同类之间是互斥的。典型方法:One-vs-All or One-vs.-rest:将多类问题分成N个二类分类问题,训练N个二类分类器,对第i个类来说,所有属于第i个类的样本为正(positive)样本,其他样本为负(negative)样本,每个二类分类转载 2016-10-31 15:16:33 · 4717 阅读 · 0 评论 -
caffe如何自定义网络以及自定义层(python)(一)
深度学习理论基础知识与进阶书下载:《深度学习-花书》链接: https://pan.baidu.com/s/1pMeyhvUtgucy8vUFwvYETQ 提取码: nvig一直想了解检测这一套代码是如何添加lib目录然后编译到caffe的网络中?我先从开始网络定义开始。。。。。首先默认caffe已经安装好,我们长话短说,先定义一个最简单的网络conv.protxt...原创 2016-11-08 14:49:19 · 6908 阅读 · 1 评论 -
深度学习GPU卡的理解(一)
一直不是很清楚到底买什么NVIDIA卡合适?对于硬件小白的我来说,买显存最大的没问题,并不清楚什么GPU适合什么深度模型。碰巧找到一个懂GPU的行家,由于国内翻墙比较麻烦就将这几篇blog转过来了。地址《Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learn原创 2016-12-26 12:44:25 · 21364 阅读 · 1 评论 -
深度学习GPU卡的理解(二)
继续搬砖第二篇《How To Build and Use a Multi GPU System for Deep Learning》When I started using GPUs for deep learning my deep learning skills improved quickly. When you can run experiments of algo原创 2016-12-26 12:46:25 · 3389 阅读 · 0 评论 -
深度学习GPU卡的理解(三)
继续搬砖第三篇《How to Parallelize Deep Learning on GPUs Part 1/2: Data Parallelism》In my last blog post I showed what to look out for when you build a GPU cluster. Most importantly, you want a fast n原创 2016-12-26 12:51:31 · 3468 阅读 · 0 评论 -
深度学习GPU卡的理解(四)
这一篇是对于卷积的理解《Understanding Convolution in Deep Learning》Convolution is probably the most important concept in deep learning right now. It was convolution and convolutional nets that catapulted de原创 2016-12-26 13:04:04 · 9917 阅读 · 0 评论 -
深度学习GPU卡的理解(五)
最后这一篇是对于计算卡的理解指导《 A Full Hardware Guide to Deep Learning》Deep Learning is very computationally intensive, so you will need a fast CPU with many cores, right? Or is it maybe wasteful to buy a fas原创 2016-12-26 13:08:05 · 7253 阅读 · 0 评论 -
nvidia显卡驱动卸载和卸载后的问题
由于装了nvidia显卡驱动后开机一直处于循环登录界面,密码输入正确也是进不去,然后就决定卸载nvidia显卡驱动。首先是在能使用tty1登录的情况下,使用$ sudo apt-get autoremove --purge nvidia-*$ sudo reboot然后就发现开机能进去desktop了,很开心,结果就是切换到tty模式下是黑屏,其实不是黑屏,是由于卸载了nv原创 2015-07-10 13:26:35 · 17631 阅读 · 1 评论 -
极深网络(ResNet/DenseNet): Skip Connection为何有效及其它
转自:http://blog.csdn.net/malefactor/article/details/67637785感谢张俊林通俗的分析。================================================================================================================Residual N转载 2017-03-29 09:52:47 · 6406 阅读 · 0 评论 -
coding Machine-Learning不错链接汇总(更新中)
1、计算广告与机器学习Computational Advertising and Machine Learning2、Denny Britz3、imistyrain4、colah5、Not_GOD及其他的新浪微博6、xizero007、taozhijiang8、Sebastian Raschka9、像素递归神经网络10、Karthik Narasim原创 2016-08-04 09:11:29 · 1640 阅读 · 0 评论 -
linux(ubuntu14.04)+GPU+cuda6.5+caffe+openCV2.4.9+matlab2014a+python的新手配置
本人是一名新手,无论是学习linux还是学习caffe都是个无名小卒。经过几番周折,终于把caffe配置起来了原创 2015-03-21 16:29:35 · 5519 阅读 · 2 评论 -
深度神经网络为何很难训练(译文)
原文假设你是一名工程师,接到一项从头开始设计计算机的任务。某天,你在工作室工作,设计逻辑电路,构建 AND 门,OR 门等等时,老板带着坏消息进来:客户刚刚添加了一个奇特的设计需求:整个计算机的线路的深度必须只有两层:两层线路你惊呆了,跟老板说道:“这货疯掉了吧!”老板说:“他们确实疯了,但是客户的需求比天大,我们要满足它。”实际上,在某种程度上看,他们的客户并没有转载 2016-01-09 17:37:41 · 3825 阅读 · 1 评论 -
进神经网络的学习方式(译文)----中
过匹配和规范化诺贝尔奖得主美籍意大利裔物理学家恩里科·费米曾被问到他对一个同僚提出的尝试解决一个重要的未解决物理难题的数学模型。模型和实验非常匹配,但是费米却对其产生了怀疑。他问模型中需要设置的自由参数有多少个。答案是“4”。费米回答道:“我记得我的朋友约翰·冯·诺依曼过去常说,有四个参数,我可以模拟一头大象,而有五个参数,我还能让他卷鼻子。”这里,其实是说拥有大量的自由参数的模型能够转载 2016-01-09 17:24:39 · 5074 阅读 · 0 评论 -
SIFT的思路整理笔记
尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种计算机视觉的算法用来detect与describe local features,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量,此算法由 David Lowe在1999年所发表,2004年完善总结。Applications includeobject recognition,原创 2015-06-24 14:02:28 · 2113 阅读 · 0 评论 -
Discriminative Modeling vs Generative Modeling(学习Free Mind知识整理)
阅读http://freemind.pluskid.org/machine-learning/discriminative-modeling-vs-generative-modeling/文章中的一些知识整理:=================================================================Discriminative Model维基原创 2015-08-22 16:45:57 · 1184 阅读 · 0 评论 -
k-medoids(学习Free Mind知识整理)
看到这里的k-medoids联想到聚类方法有哪些?http://blog.chinaunix.net/uid-10289334-id-3758310.html这k-medoids和k-means两者对比一下图:原创 2015-08-24 13:00:55 · 3210 阅读 · 0 评论 -
Hierarchical Clustering(学习Free Mind知识整理)和Hungarian Algorithm
由上一篇K-medoids算法学完后,搜索到Hierarchical Clustering算法和上篇Free Mind的K-medoid讨论提到的Hungarian Algorithm算法,做一个简单学习。这篇文章的学习思路还是按照http://blog.pluskid.org/?p=407学习一下。=============================================原创 2015-08-24 14:28:02 · 1639 阅读 · 0 评论 -
Gaussian Mixture Model(学习Free Mind知识整理)
这篇关于Gaussian Mixture Model(GMM)的文章:http://blog.pluskid.org/?p=39 http://blog.csdn.net/abcjennifer/article/details/8198352===============================================================“高斯分布原创 2015-08-27 16:30:07 · 1000 阅读 · 0 评论 -
Sparsity and Some Basics of L1 Regularization (学习Free Mind知识整理)
f(x)=∑j=1pwjxj=wTx阅读http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/文章中的一些知识整理:==============================================================“因为如果用上所原创 2015-08-22 12:50:42 · 692 阅读 · 0 评论 -
Expectation Maximization
1原创 2015-09-14 21:08:50 · 942 阅读 · 0 评论 -
Stochastic gradient descent与Batch gradient descent
梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,下面的h(x)是要拟合的函数,J(theta)损失函数,theta是参数,要迭代求解的值,theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数,j是参数的个数。梯度下降法函数function [k ender]=steepest(f,x,e),需要三个参数f、x和e,其中f为目标函原创 2015-09-07 17:53:54 · 3658 阅读 · 0 评论 -
逻辑回归模型及LBFGS的Sherman Morrison(SM) 公式推导
转载 2015-10-05 17:11:20 · 3894 阅读 · 2 评论 -
Locality-constrained Linear Coding for Image Classification(阅读)
通熟易懂的图片,来自余凯。经过前面的BoW、BoF、SPM、ScSPM的学习,终于可以大概把CNN网络的结构稍微理解一下了:VQ啊,SC啊相当于CNN中的coding部分,SPM相当于pooling部分。 BoW+SPM的图下面是CNN等效对比图:然后接下来就是Spare Coding取代,它能很好模拟人大脑的信号处理过程,也求解问题能够用LASSO解决。原创 2015-10-07 18:59:30 · 3362 阅读 · 0 评论 -
Caffe中的优化方法
在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新,试图减小损失。 Caffe已经封装好了三种优化方法,分别是Stochastic Gradient Descent (SGD), AdaptiveGradient (ADAGRAD), and Nesterov’转载 2015-11-09 10:31:11 · 3710 阅读 · 0 评论 -
k-means(学习Free Mind知识整理)
阅读http://blog.pluskid.org/?p=17文章中的一些知识整理:===============================================================聚类算法,不是分类算法。分类算法是给一个数据,然后判断这个数据属于已分好的类中的具体哪一类。聚类算法是给一大堆原始数据,然后通过算法将其中具有相似特征的数据聚为一类。原创 2015-08-24 12:01:24 · 1321 阅读 · 0 评论 -
caffe提取已训练好模型的特征
按照caffe官网教程:1、创建一个临时文件夹$ mkdir examples/_temp2、我们为三张图片添加一个文件列表find `pwd`/examples/images -type f -exec echo {} \; > examples/_temp/temp.txt原创 2015-11-26 12:29:44 · 3144 阅读 · 1 评论 -
改进神经网络的学习方式(译文)----下
如何选择神经网络的超参数直到现在,我们还没有解释对诸如学习率 $$\eta$$,规范化参数 $$\lambda$$ 等等超参数选择的方法。我只是给出那些效果很好的值而已。实践中,当你使用神经网络解决问题时,寻找好的超参数其实是很困难的一件事。例如,我们要解决 MNIST 问题,开始时对于选择什么样的超参数一无所知。假设,刚开始的实验中选择前面章节的参数都是运气较好。但在使用学习率 $$\e转载 2016-01-09 17:14:49 · 3409 阅读 · 0 评论 -
改进神经网络的学习方式(译文)----上
当一个高尔夫球员刚开始学习打高尔夫时,他们通常会在挥杆的练习上花费大多数时间。慢慢地他们才会在基本的挥杆上通过变化发展其他的击球方式,学习低飞球、左曲球和右曲球。类似的,我们现在仍然聚焦在反向传播算法的理解上。这就是我们的“基本挥杆”——神经网络中大部分工作学习和研究的基础。本章,我会解释若干技术能够用来提升我们关于反向传播的初级的实现,最终改进网络学习的方式。本章涉及的技术包括:更好的代价函转载 2016-01-09 17:22:37 · 1799 阅读 · 0 评论