机器学习
文章平均质量分 79
帅气的弟八哥
敏于行而慎于言,讷于言而敏于行
展开
-
李宏毅机器学习课程10~~~卷积神经网络
卷积的意义数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的像素灰度值与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值,并最终滑动完所有图像的过程。这张图可以清晰的表征出整个卷积过程中一次相乘后相加的结果:该图片选用3*3的卷积核,卷积核内共有九个数值,所以图片右上角公式中一共有九原创 2017-08-08 09:21:38 · 8408 阅读 · 1 评论 -
贾扬清分享_深度学习框架caffe
本文转自: http://www.datakit.cn/blog/2015/06/12/online_meet_up_with_yangqing_jia.htmlCaffe是一个清晰而高效的深度学习框架,其作者是博士毕业于UC Berkeley的 贾扬清,目前在Google工作。本文是根据机器学习研究会组织的online分享的交流内容,简单的整理了一下。目录1、caffe分转载 2016-01-14 15:17:45 · 2186 阅读 · 0 评论 -
李宏毅机器学习课程1~~~Introduction &Regression
机器学习介绍机器学习就是要找一个函数。机器学习的三大要素框架:训练集,函数集(模型集),损失函数集。机器学习图谱AI训练师的成长之路。1. 梯度下降法的理解Gradient Descent参数变化的方向就是损失函数减少的方向。图中小人向左走,还是向右走,主要是看哪个方向是损失函数减少的方向,学习率就是这个小人走的速度。理论上,全局最有解是最好的结果,但是实际上,我们有时候可能仅仅找到了局部最有解。所原创 2017-07-25 08:29:47 · 967 阅读 · 0 评论 -
李宏毅机器学习课程8~~~keras
keraskeras示例确定网络结构确定损失函数确定训练网络参数batchsize与运算时间,平行运算,可以缩简运算时间。batchsize不能太大,这是由于内存的关系。此外,batchsize太大容易陷入局部极值点或者鞍点。batchsize=1,类似于随机梯度下降法,这样即使有GPU也不会加速运算。模型预测原创 2017-07-30 08:45:49 · 1164 阅读 · 0 评论 -
批量提取 caffe 特征 (python, C++, Matlab)(待续)
本文参考如下:Instant Recognition with Caffe Extracting FeaturesCaffe Python特征提取 caffe 练习4 —-利用python批量抽取caffe计算得到的特征——by 香蕉麦乐迪 caffe 练习3 用caffe提供的C++函数批量抽取图像特征——by 香蕉麦乐迪 caffe python批量抽取图像特征 caffe pyth转载 2016-01-20 10:49:55 · 7093 阅读 · 3 评论 -
UFLDL教程: Exercise:Self-Taught Learning
自我学习Deep Learning and Unsupervised Feature Learning Tutorial Solutions 1.先训练稀疏自编码器提取特征,再把特征和label给softmax分类器进行训练,最后用test数据集进行测试。 2.由于实际应用中找到大量有标注的样本是非常困难的,所有采用先用大量无标注样本来进行无监督训练自编码器,再用自编码器...原创 2017-06-14 10:08:22 · 1270 阅读 · 0 评论 -
UFLDL教程: Exercise: Implement deep networks for digit classification
Deep networksDeep Learning and Unsupervised Feature Learning Tutorial Solutions深度网络的优势 比单层神经网络能学习到更复杂的表达。 不同层的网络学习到的特征是由最底层到最高层慢慢上升的。比如在图像的学习中,第一个隐含层网络可能学习的是边缘特征,第二隐含层就学习到的是轮廓特征,后面的就会...原创 2017-06-14 15:39:22 · 1224 阅读 · 0 评论 -
UFLDL教程:Exercise:Softmax Regression
Softmax分类函数的Python实现Deep Learning and Unsupervised Feature Learning Tutorial Solutions逻辑回归假设函数在线性回归问题中,假设函数具有如下形式:在 logistic 回归中,我们的训练集由m 个已标记的样本构成:,其中输入特征。 由于 logistic 回归是针对二分类问题的,因此类标记...原创 2017-06-13 21:33:50 · 2323 阅读 · 1 评论 -
UFLDL教程:Exercise:Vectorization
载入数据并显示Deep Learning and Unsupervised Feature Learning Tutorial Solutions下载MINIST数据集及加载数据集的函数。MINIST数据集的介绍。% Change the filenames if you've saved the files under different names% On some pl...原创 2017-06-12 14:46:34 · 843 阅读 · 0 评论 -
UFLDL教程: Exercise:Learning color features with Sparse Autoencoders
Linear DecodersDeep Learning and Unsupervised Feature Learning Tutorial Solutions以三层的稀疏编码神经网络而言,在sparse autoencoder中的输出层满足下面的公式从公式中可以看出,a3的输出值是f函数的输出,而在普通的sparse autoencoder中f函数一般为sigmoid函...原创 2017-06-14 19:55:03 · 765 阅读 · 1 评论 -
UFLDL教程:数据预处理
数据预处理是深度学习中非常重要的一步!如果说原始数据的获得,是深度学习中最重要的一步,那么获得原始数据之后对它的预处理更是重要的一部分。 一般来说,算法的好坏一定程度上和数据是否归一化,是否白化有关。数据归一化数据预处理中,标准的第一步是数据归一化。虽然这里有一系列可行的方法,但是这一步通常是根据数据的具体情况而明确选择的。特征归一化常用的方法包含如下几种:1.样本尺度归一化:简单缩放 对数据原创 2017-06-20 11:18:33 · 831 阅读 · 0 评论 -
莫凡机器学习课程笔记
怎样区分好用的特征 避免无意义的信息 避免重复性的信息 避免复杂的信息 激活函数的选择浅层神经网络,可以随便尝试各种激活函数 深层神经网络,不可随机选择各种激活函数,这涉及到梯度爆炸和梯度消失。(给出梯度爆炸和梯度消失的度量来判别激活函数的效果)卷积神经网络,推荐的激活函数是 relu 循环神经网络,推荐的激活函数是relu or tanh加速神经网络训练Stocha原创 2017-06-16 11:12:35 · 5627 阅读 · 0 评论 -
马普所机器学习课程& CMU701
马普所机器学习课程Max-Planck-Institut für Informatik: Machine Learninghttps://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/teaching/courses/马普所 GVV project http://gvv.mpi-inf.mpg.de/原创 2016-06-30 08:03:54 · 1452 阅读 · 0 评论 -
caffe 提取特征并可视化(已测试可执行)及在线可视化
参考主页: http://lijiancheng0614.github.io/2015/08/21/2015_08_21_CAFFE_Features/ http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb http://www.cnblogs.com/platero转载 2015-12-26 21:24:52 · 31779 阅读 · 23 评论 -
6 areas of artificial intelligence to watch closely 需要密切关注的六大人工智能/机器学习领域
近段时间,有许多关于人工智能公认定义的争论。有些人认为人工智能就是“认知计算”或是“机器智能”,而另一些人则把它与“机器学习”的概念混淆了。然而,人工智能并不是特指某种技术,它实际上是一个由多门学科组成的广阔领域,包括机器人学和机器学习等。人工智能的终极目标是让机器替代人类去完成需要认知能力的任务。为了实现这一目标,机器必须自动学习掌握能力,而不仅仅是执行程序员编写的命令。人工智能在过去的十年里取得转载 2017-03-13 19:24:56 · 834 阅读 · 0 评论 -
关于机器学习的领悟与反思(张志华北大数学系教授)
张志华教授:机器学习——统计与计算之恋 COS访谈第十九期:张志华教授 张志华老师教学之感悟 ◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆张志华 北京大学数学学院教授,北京大数据研究院高级研究员。曾在浙江大学和上海交通大学计算机系任教。主要从事机器学习与应用统计等领域的教学与科研工作。 张志华老师主页转载 2017-01-13 10:14:01 · 10516 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考三:正则化
概述正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术,特别是在深度学习模型中,由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合,比较常用的技术包括: 参数添加约束,例如L1、L2范数等 训练集合扩充,例如添加噪声、数据变换等 Dropout该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择,并试图解释其原理。正则化技术参数惩转载 2017-08-10 15:33:41 · 808 阅读 · 0 评论 -
当你在应用机器学习时你应该想什么
如今, 机器学习变得十分诱人, 它已在网页搜索, 商品推荐, 垃圾邮件检测, 语音识别, 图像识别, 自然语言处理等诸多领域发挥重要作用. 和以往我们显式地通过编程告诉计算机如何进行计算不同, 机器学习是一种数据驱动方法(data-driven approach). 然而, 有时候机器学习像是一种”魔术”, 即使是给定相同的数据, 一位机器学习领域专家和一位新手训练得到的结果可能相去甚远. 本文简要转载 2017-08-10 11:05:23 · 685 阅读 · 0 评论 -
李宏毅机器学习课程3~~~梯度下降法
梯度下降法描述梯度下降法是为了找到最优的目标函数,寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程,每次更新参数学到的函数都会使得误差损失越来越小,也就是说学习到的参数函数越来越逼近最优函数。参数的更新是按照损失函数的等高线的方向进行的。梯度下降是一阶导数,梯度下降是用平面来逼近局部。 牛顿法是二阶导数,牛顿法是用原创 2017-07-27 09:08:28 · 2704 阅读 · 1 评论 -
李宏毅机器学习课程9~~~深度学习技巧
Recipe of Deep LearningOverfittingoverfitting的判断是要训练误差与测试误差做比较。这个56-layer的网络在训练集上都没有训练好,说白了就是有点欠拟合。所以仅仅依靠测试集上的结果来判断56-layer比20-layer overfitting是不合理的。更多理解见 Overfitting and Underfit原创 2017-07-30 08:46:28 · 5420 阅读 · 0 评论 -
李宏毅机器学习课程-Structured Learning
Simple structured learning framework for python pystruct-github Slides for explaining structured prediction and PyStruct -github一、Structured Learning-Unifed Framework之前的input and output原创 2017-12-13 15:39:24 · 1146 阅读 · 0 评论 -
Recall(召回率) Precision(准确率) F-Measure E值 sensitivity(灵敏性) specificity(特异性)漏诊率 误诊率 ROC AUC
Berkeley Computer Vision page Performance Evaluation机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率 True Positives, TP:预测为正样本,实际也为正样本的特征数 False Positives,FP:预测为正样本,实际为负样本的特征数 True Negatives,TN:预测为负样本,实际也为转载 2016-07-06 17:17:34 · 14597 阅读 · 0 评论 -
李宏毅机器学习课程-Transfer Learning
深度学习 -> 强化学习 ->迁移学习(杨强教授报告)李宏毅机器学习课程-Transfer Learning迁移学习-吴恩达 freeze待处理的理解深层神经网络中的迁移学习及TensorFlow实现 Transfer Learning模式Similar domain, different tasksDifferent domains, same原创 2017-12-13 09:41:30 · 4104 阅读 · 2 评论 -
李宏毅机器学习课程2~~~误差从哪里来?
Stanford机器学习—第六讲. 怎样选择机器学习方法、系统误差来源误差主要来自于偏差和方差。数学上定义: 通过covariate X 预测 Y ,我们假设存在如下关系: Y = f(X) + ϵ 满足正态分布均值为0 方差σϵ 模型预测错误定义为:期望误差分解为三个非负项的和,即本真噪音、bias和 variance。https://en.w原创 2017-07-26 07:12:48 · 1521 阅读 · 1 评论 -
李宏毅机器学习课程6~~~深度学习入门
深度学习历史深度学习经典步骤神经网络的符合标记含义Wij 代表的是从神经元j到神经元i,这样写的目的是便于表达,否则最后的表达式子就是Wij的转置,细节见下面。每个神经元的偏执值组成一个向量b单个神经元的输出结果 所有神经元输出的结果深度学习示例数字识别将图片reshape到一列(按行reshape或者按列reshape均可),类别可用0ne-hot来标记。深度学习损失函数批量算损失,梯度下降法去原创 2017-07-30 08:43:54 · 1561 阅读 · 0 评论 -
UFLDL教程:Exercise:PCA in 2D & PCA and Whitening
相关文章PCA的原理及MATLAB实现UFLDL教程:Exercise:PCA in 2D & PCA and Whiteningpython-A comparison of various Robust PCA implementations Deep Learning and Unsupervised Feature Learning Tutorial Solution...原创 2017-06-13 07:34:49 · 1964 阅读 · 0 评论 -
PCA的原理及MATLAB实现
相关文章PCA的原理及MATLAB实现UFLDL教程:Exercise:PCA in 2D & PCA and Whitening----------------------------本文参考: http://blog.csdn.net/gwh111/article/details/11742735 http://www.mathworks.com/matlabcentral/newsread原创 2016-01-28 02:02:36 · 29213 阅读 · 8 评论 -
深度学习 -> 强化学习 ->迁移学习(杨强教授报告)
李宏毅机器学习课程-Transfer Learning链接: http://pan.baidu.com/s/1nu6DMRn 密码: an9q 深度学习的局限表达能力的限制。因为一个模型毕竟是一种现实的反映,等于是现实的镜像,它能够描述现实的能力越强就越准确,而机器学习都是用变量来描述世界的,它的变量数是有限的,深度学习的深度也是有限的。另外它对数据的需求量随着模型的增大而增大,但现实中有那么多高原创 2017-01-06 09:52:24 · 38616 阅读 · 5 评论 -
深度学习笔记(待续)
背景知识好的特征应具有不变性(大小、尺度和旋转等)和可区分性):例如Sift的出现,是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,的确让很多问题的解决变为可能。 Deep Learning的一个别名UnsupervisedFeature Learning,就可以顾名思义了,Unsupervise原创 2017-06-21 16:38:30 · 1032 阅读 · 0 评论 -
李宏毅机器学习课程5~~~分类:逻辑回归
Function Set不同的w,b来确定不同的函数,这样就组成了函数集合,不同的w,b可以来表达不同的分布函数。Good of a Function 变换表达形式两个Bernoulli distribution的交叉熵。所谓交叉熵,是用来刻画两个分布的相似性。在这里,交叉熵可以理解为真实分布与预测分布的相似度。同分布的话,交叉熵是0Finding the best Function上式表明预测原创 2017-07-30 08:42:57 · 1923 阅读 · 0 评论 -
李宏毅机器学习课程7~~~反向传播
到底为什么基于反向传播的纯监督学习在过去表现不佳?Geoffrey Hinton总结了目前发现的四个方面问题:带标签的数据集很小,只有现在的千分之一.计算性能很慢,只有现在的百万分之一.权重的初始化方式笨拙.使用了错误的非线性模型。深度学习=许多训练数据+并行计算+规模化、灵巧的的算法链式法则反向传播直接套用链式法则先计算链式法则里面的第一项计算链式法则第二项,第二项继续使用链式法则链式法则原创 2017-07-30 08:44:41 · 1319 阅读 · 0 评论 -
李宏毅机器学习课程4~~~分类:概率生成模型
分类问题用回归来解决?当有右图所示的点时,这些点会大幅改变分类线的位置。这时候就会导致整体的回归结果变差。当把多分类当成回归问题,类别分别为1,2,3,4……,因为回归的问题是预测具体的值,这样定义类别就默认这些数据之间有相应的关系。如果数据间没有具体的这些数字关系,就会导致最后的回归结果变差。概率生产模型对比学习见 李宏毅机器学习课程12~~~半监督学习 概率生成模型概率生成模型示例假设所有采样点原创 2017-07-30 06:45:12 · 1176 阅读 · 0 评论 -
UFLDL教程:Exercise:Convolution and Pooling
Deep Learning and Unsupervised Feature Learning Tutorial SolutionsCNN的基本结构包括两层 其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来。 其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上...原创 2017-06-15 13:31:10 · 1923 阅读 · 0 评论 -
2015伦敦深度学习峰会笔记(转载)
摘要:在伦敦举行的第三届深度学习峰会由RE.WORK主办,汇集了从工业领域到学术领域不同背景的专业人士,本文是该峰会第一天的笔记。包括Koray Kavukcuoglu、Sander Dieleman等知名深度学习专家分享了自己的经验。上周,我有机会参加在伦敦举行的第三届深度学习峰会,上两届分别在旧金山和波士顿举行。深度学习峰会由 RE.WORK主办,汇集了从工业领域到学术领域转载 2016-01-14 11:13:40 · 1214 阅读 · 0 评论 -
Caffe: 贾扬清2015年讲座
链接: http://pan.baidu.com/s/1jIRJ6mU 提取密码:xehi一、讲座正文大家好!我是贾扬清,目前在GoogleBrain,今天有幸受邀来和大家聊聊Caffe。没有太多准备,所以讲的不好的地方还请大家谅解。大家最近一段时间应该已经听到很多关于deep learning的八卦了。deep learning比较流行的一个原因,主要是因为它能够转载 2017-01-10 17:11:15 · 1524 阅读 · 0 评论 -
机器学习之 weka学习(四)
本文转自: http://blog.csdn.net/lantian0802/article/details/8875874http://blog.csdn.net/lkj345/article/details/50152055点击最上方的Classify按钮,选择Logistic(逻辑回归)分类方法,在Test options中选择Percentage spl转载 2016-05-30 14:55:53 · 1813 阅读 · 0 评论 -
机器学习之 weka学习(三)
本文转自:http://blog.csdn.net/qiao1245/article/category/6115745 Weka教程笔记 http://blog.csdn.net/qiao1245/article/category/6115745 使用Weka进行数据挖掘(Weka教程二)Weka数据之ARFF与多文件格式转换 http:转载 2016-05-30 14:48:35 · 1619 阅读 · 0 评论 -
Deep Learning Toolkits 的比较(转)
Caffe Theano Torch TensorFlow 本文转自:https://github.com/zer0n/deepframeworksAbstract. In this study, I evaluate some popular deep learning toolkits. The candidates are listed in alphabetica转载 2016-05-28 00:45:14 · 2224 阅读 · 0 评论 -
机器学习(Machine Learning)&深度学习(Deep Learning)资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習、深度學習方面不錯的資料,轉載。原作:https://github.com/ty4z2008/Qix/blob/master/dl.md https://github.com/ty4z2008/Qix/blob/master/dl2.md转载 2016-04-12 09:16:38 · 11572 阅读 · 0 评论 -
不均衡数据的处理方法
关于不均衡数据的处理方法,主要有以下几个方面:1. 采样的方法 1.1 过采样,采集类标少的样本,达到平衡样本的目的。 方法一,简单的复制类标少的样本 方法二,生成人工样本(SMOTE方法),MATLAB代码 SMOTE (Synthetic Minority Over-Sampling Technique) - File Exchange -原创 2016-03-11 17:05:27 · 6242 阅读 · 0 评论