机器学习
文章平均质量分 93
王伟王胖胖
这个作者很懒,什么都没留下…
展开
-
李航《统计学习方法》第二版-第3章 k近邻法 浅见
李航《统计学习方法》第二版-第3章 k近邻法 浅见3.0 k近邻简单介绍3.1 k近邻算法3.2 k近邻模型3.2.1 模型3.2.2 距离度量3.2.3 k值选择3.2.4 分类决策规则3.3 kd树总结3.0 k近邻简单介绍k近邻暂时讨论分类方法,可以简单理解为我要去个地方,我找周围k个最近的人问问该走哪条路(对应类别),告诉我最多走的那条路就是我要走的路。你选k个人,选离你多远的人,选择...原创 2019-07-23 19:03:41 · 464 阅读 · 0 评论 -
李宏毅机器学习系列-梯度下降法
李宏毅机器学习系列-梯度下降法梯度下降法回顾调节学习率梯度下降法回顾我们再定义损失函数之后,我们希望损失函数越小越好,于是想要寻找到一组参数θ∗\theta^*θ∗,使得他让损失函数取得的最小值,即:θ∗=argminθL(θ)\displaystyle \theta^*= arg \min_{\theta} L(\theta) θ∗=argθminL(θ)我们假设θ\thetaθ只有...原创 2019-08-12 15:26:38 · 799 阅读 · 2 评论 -
李宏毅机器学习系列-深度学习简介
李宏毅机器学习系列-深度学习简介深度学习的概况深度学习的步骤前馈神经网络全连接神经网络数字识别分类总结深度学习的概况深度学习从2012年的图像识别比赛开始就复苏了,发展越来越快,越来越好,具体他的发展历史可以百度下,可以追溯到很早时期,还有几个大起大落的阶段:可以看看这些时间点的重要发展:深度学习的步骤那深度学习的步骤是怎么样的呢,其实跟我们前面说的机器学习差不多,就跟把大象放冰箱里...原创 2019-08-16 13:56:08 · 2948 阅读 · 0 评论 -
李宏毅机器学习系列-卷积神经网络
李宏毅机器学习系列-卷积神经网络为什么要用卷积神经网络(CNN)卷积神经网络(CNN)基本结构卷积层卷积层的特点最大池化层Keras里该怎么做CNN呢CNN学到了什么Deep DreamDeep StyleCNN的应用总结为什么要用卷积神经网络(CNN)如果我们用一般的全连接神经网络来做图片的分类的话,应该是这样,我们将图片转换为一个向量,然后用很多层进行特征提取,最后输出一个向量,好像没啥问...原创 2019-08-21 20:05:27 · 1218 阅读 · 1 评论 -
李宏毅机器学习系列-深度学习的模块化
李宏毅机器学习系列-深度学习模块化更深的网络更好么模块化模块化在语音上的应用语音识别端到端的学习更深的网络更好么通常来说,我们深度越深,参数越多,表现应该越好,这个是很正常的:但是我们也可以考虑不要深度,要宽度,如果不同的结构,同样的参数,到底哪个更好一点呢:我们做实验之后发现深度确实是比宽度效果要好,同样深度,参数越多越好:模块化那为什么深的比宽的好呢,我们可以用模块化来解释啊...原创 2019-08-22 20:51:52 · 1143 阅读 · 0 评论 -
李宏毅机器学习系列-反向传播
李宏毅机器学习系列-反向传播梯度下降法梯度下降法原创 2019-08-18 15:15:43 · 668 阅读 · 0 评论 -
李宏毅机器学习系列-半监督学习
李宏毅机器学习系列-半监督学习什么是半监督学习半监督学习的假设生成模型上的半监督学习Low-density Separation非黑即白自学习熵正则化半监督SVMSmoothness Assumption(平滑假设)Better Representation总结什么是半监督学习顾名思义应该是一般有标签,一般没标签吧,差不多,只是没标签的占大多数,比如下图,我们有6张图,只有两张是有标签的,另外...原创 2019-08-23 14:52:06 · 1291 阅读 · 1 评论 -
李宏毅机器学习系列-无监督学习之PCA
李宏毅机器学习系列-无监督学习之PCA无监督学习做什么聚类(Clustering)分布式表示(Distributed Representation)降维主成分分析 (Principle component analysis)数学推导无监督学习做什么我们做无监督学习一般就是两个方向,一个是降维,比如下面的树,只有输入,没有标签,我们希望通过一个函数抽象出少量的特征来描述他们,于是就抽出来了一个更...原创 2019-08-26 11:36:53 · 1902 阅读 · 1 评论 -
李宏毅机器学习系列-无监督学习之自编码器
李宏毅机器学习系列-无监督学习之自编码器自编码器是什么自编码器文字处理自编码器搜索相似图片自编码器预训练DNN自编码器去噪自编码器用于CNN自编码器可当做生成器总结自编码器是什么先举个例子,比如我们用一个神经网络要把一张图片压成一个code,希望这个code的维度比图片小,我们有很多的图片,但是没有code的标签,也就是我们有输入,没有输出,好像没办法学习:同理我们可以给一个随机的code...原创 2019-08-27 12:51:20 · 995 阅读 · 0 评论 -
李宏毅机器学习系列-无监督学习之生成模型
李宏毅机器学习系列-无监督学习之生成模型一让机器有有创造力生成模型PixelRNNVAE总结让机器有有创造力我们知道机器是可以学习我们告诉他的东西,也可以学习没有标签的东西,但是能不能让他自己有创造力呢,这个是可以有的,比如让他看了很多动漫头像后,他自己能不能尝试着画出来没出现过的,或者让他读了很多诗之后自己写几句:所以牛人门开始研究生成模型,比如openai发过的文章,开头引用了费曼黑板...原创 2019-08-27 18:16:09 · 953 阅读 · 2 评论 -
李宏毅机器学习系列-结构化学习介绍
李宏毅机器学习系列-结构化学习介绍结构化学习是什么统一框架物体检测的例子文章总结的例子网页搜索的例子换个概率的角度理解这个框架框架遇到的问题与DNN的联系总结结构化学习是什么简单来说,就是找一个函数,输入一个X,输出一个Y,但是X,Y的结构是不一样的。比如结构可以是序列,列表,树,边界框等等。我们以前学的DNN,输入都是向量,输出也是向量:来看看一些例子:说语音识别和机器翻译:输入的是一...原创 2019-08-28 14:23:12 · 704 阅读 · 0 评论 -
李宏毅机器学习系列-结构化学习之线性模型
李宏毅机器学习系列-结构化学习之线性模型要解决的问题线性模型要解决的问题上篇说了,我们要进行统一框架的结构化学习要解决三个问题,其实第一个和第三个问题是有联系的,如果第一个问题是F是个具体的形式,那第三个问题就好解决了:线性模型首先我们有一组样本x,y,每个对样本都用很多种特性来描述相互之间的关系大小:那我们的F就可以定义为下面的式子,也就是所有关系的线性组合:把他写成向量的形式...原创 2019-08-28 16:23:01 · 294 阅读 · 0 评论 -
李宏毅机器学习系列-结构化学习之结构化支持向量机
李宏毅机器学习系列-结构化学习之结构化支持向量机回顾统一框架统一框架的问题结构化学习的应用统一框架的问题解决方案前方高能线性可分的情况和结构化感知机训练次数的数学推导如何进行快速训练线性不可分情况定义损失函数梯度下降法考虑误差加上正则化结构化SVM切平面算法最难满足的限制多分类和二分类的SVM多分类SVM二分类SVM更好的SVM总结回顾统一框架上两篇介绍了什么事结构化学习,就是输入和输出的结...原创 2019-08-29 23:05:10 · 1164 阅读 · 0 评论 -
李宏毅机器学习系列-循环伸进网络RNN
深度学习-李宏毅机器学习之RNN-1神经网络可能也需要记忆RNN简介LSTM总结最近做语音研究,可能要用到RNN,所以把李宏毅老师的RNN看了下,顺便做下记录吧,方便以后自己回顾和大家学习。前面有偏比较直觉的讲RNN的,有兴趣的也可以看下。神经网络可能也需要记忆首先来看个例子,加入我们有句话,需要提取出两个slot(可以看做特征吧),一个是目的地,一个是到达时间,比如上面这句话,目的地是T...原创 2019-07-07 23:19:15 · 712 阅读 · 0 评论 -
李宏毅机器学习系列-深度学习小贴士
李宏毅机器学习系列-深度学习小贴士是过拟合的错么深度学习的技巧梯度消失ReluMaxout可调节的学习率RMSPropMomentumAdamEarly StoppingRegularizationDropout总结是过拟合的错么我们在做深度学习的时候经常会遇到一些问题,比如我们发现测试集上的效果不好,于是我们马上认为是过拟合,其实不一定,过拟合是在训练集效果好,测试集不好的情况下才有的,而如...原创 2019-08-20 17:29:29 · 366 阅读 · 0 评论 -
李宏毅机器学习系列-逻辑回归
李宏毅机器学习系列-逻辑回归分类回顾逻辑回归+均方差损失函数分类回顾我们先回顾下前面我们讲的分类的步骤,第一步先找到一个模型集合,是个概率模型,最后可以转化为sigmoid函数,输入是一个线性函数,如果结果大于等于0.5,则认为是类1,否则是类2:如果画出结构图的话应该是这样,每个特征xix_ixi都有一个权重,然后加上偏置,输入到sigmoid函数里,得到0到1的概率值:第二步我们...原创 2019-08-15 12:35:58 · 563 阅读 · 0 评论 -
李宏毅机器学习系列-误差从哪来
李宏毅机器学习系列-误差从哪来误差从哪来我们的估计估计的偏差和方差获得更多数据观察结果偏差和方差对误差的影响如何处理高偏差如何处理高方差模型的选择总结误差从哪来我们继续上次的精灵宝可梦的CP值回归的例子,来看下上次的测试集的平均误差图,那误差从哪里来呢,从偏差和方差来,那么是偏差和方差呢,我们马上会讲到:我们的估计我们先来回顾下上次我们做的事情,就是预测一个方法,输入是宝可梦的信息,输出...原创 2019-08-10 17:47:14 · 366 阅读 · 0 评论 -
目标检测学习-Faster R-CNN
目标检测学习-Faster R-CNNR-CNN的问题Faster R-CNN的结构Rigion Proposal Network(RPN)总结R-CNN的问题上篇说过了R-CNN存在的问题就是候选区域的时间瓶颈,毕竟用Selective Search是CPU进行的,无法用GPU处理,所以Faster R-CNN在这里入手了,把这个候选的过程让神经网络去做。Faster R-CNN的结构F...原创 2019-07-28 22:34:14 · 440 阅读 · 0 评论 -
目标检测学习-YOLO-v1
目标检测学习-YOLO-v1前言主要思想具体做法模型训练总结前言前面几篇讲目标检测的是R-CNN系列,基本都是基于候选区来进行分类和回归,可以说是分了两步。本篇开始介绍YOLO系列的yolo-v1,引入了一种新的思路,就是把分类和回归问题都归结为回归问题,一步到位。主要思想YOLO的主要思想在于全局的去看整个图像,从左到右,从上到下的去看每一个地方,然后给每个地方两个框,以便于回归物体的...原创 2019-08-03 20:48:25 · 398 阅读 · 0 评论 -
李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.6-1.8 浅见
李航《统计学习方法》第二版-第一章 统计学习及监督学习概论1.6-1.8 浅见1.6 泛化能力1.7 生成模型和判别模型1.8 监督学习应用1.6 泛化能力也就是我们所说的对未知数据的适应能力,预测能力,这个才是我们要的,而不是一味的去迎合训练集。举个例子:我们考试前做的一堆模拟题,貌似我们每道题目都弄懂了,会做了,但是真正考试的时候遇到的题目是没见过的,这个时候才是表现出真正的实力,是时候展...原创 2019-07-21 21:55:06 · 301 阅读 · 0 评论 -
李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.1-1.2 浅见
李航《统计学习方法》第二版-第一章 统计学习及监督学习概论1.1-1.2 浅见目的第一章 统计学习及监督学习概论1.1 统计学习统计学习是什么,做什么的统计学习的对象统计学习的目的统计学习的方法1.2 统计学习的分类基本分类监督学习输入空间,输出空间,特征空间联合概率分布假设空间无监督学习强化学习按技巧分类贝叶斯学习核方法目的经过一段时间的深度学习,发现好多机器学习的基础不是很好,特别是统计方...原创 2019-07-17 22:30:35 · 800 阅读 · 0 评论 -
李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.3-1.5 浅见
李航《统计学习方法》第二版-第一章 统计学习及监督学习概论1.4-1.5 浅见1.3 统计学习方法三要素模型策略算法1.4 模型评估与选择1.5 正则化和交叉验证正则化和范数交叉验证1.3 统计学习方法三要素简单的可以表示为:方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法模型模型就是我们要学习的条件概率分布P(Y∣X)P(Y|X)P(Y∣X)或者是决策函数Y=f(X)...原创 2019-07-19 18:53:36 · 607 阅读 · 0 评论 -
李航《统计学习方法》第二版-第2章 感知机 浅见
李航《统计学习方法》第二版-第二章 感知机 浅见2.1 感知机模型2.2 感知机学习策略2.3 感知机学习方法总结2.1 感知机模型感知机是二分类线性模型,输入为实例的特征向量,输出为类别,-1和1。目的是求出将数据分离的超平面,基于误分类的损失函数,用梯度下降法进行最小化,求得感知机模型。感知机的定义简单就是输入空间X,输出Y={1,-1}。即:f(x)=sign(w⋅x+b)f(x)...原创 2019-07-22 18:18:43 · 330 阅读 · 0 评论 -
目标检测学习-滑动窗口法
目标检测学习-滑动窗口法目标检测的目的滑动窗口法交并比(IoU)非极大抑制(NMS)简单思路一些问题目标检测的目的最近在研究关于目标检测的项目,所以学习了下目标检测相关的基础,也有些自己的理解,所以就想记录下,分享下。目标检测的目的简单的说就是要找到图片里有什么东西,在什么位置,比如下面经典的图,能检测到一条狗,一辆自行车和一辆汽车,然后把他们所在的区域位置给显示出来:那这个是怎么做到的...原创 2019-07-27 14:46:11 · 12423 阅读 · 13 评论 -
目标检测学习-R-CNN
目标检测学习-R-CNN选择性搜索(Selective Search)简单思路R-CNN一些问题选择性搜索(Selective Search)要讲R-CNN之前,还得先说下这个算法,这个就是用来代替上篇文章讲的滑动窗口法。因为滑动窗口法效率太低了,是种暴力穷举的方法,所以有人就想能不能有点针对性的去找一些框啊,所以就有了选择性搜索。简单思路思路就是,把可能存在物体的区域给找出来,因为存在物...原创 2019-07-27 15:45:47 · 227 阅读 · 0 评论 -
目标检测学习-Fast R-CNN
目标检测学习-Fast R-CNN空间金字塔池化(Spatial Pyramid Pooling)感兴趣区域池化(Region Of Interest Pooling)Fast R-CNN还有问题空间金字塔池化(Spatial Pyramid Pooling)前面我们将的R-CNN在候选区选定后,输入到CNN经典网络之前,都需要进行尺寸的裁剪或者缩放(对提取特征可能会产生一定的影响),以便于满...原创 2019-07-27 22:48:04 · 407 阅读 · 0 评论 -
目标检测学习-YOLO-v2
目标检测学习-YOLO-v2改进Batch Normalization(批量归一化)High Resolution Classifier(高分辨率分类器)Convolutional With Anchor Boxesr(带有锚框的卷积)Dimension Clusters(维度聚类)Direct location prediction(直接位置预测)Fine-Grained Features(细粒...原创 2019-08-05 21:26:44 · 527 阅读 · 0 评论 -
李宏毅机器学习系列-机器学习介绍
李宏毅机器学习系列-机器学习介绍机器学习介绍生物的本能人类设定好的天生本能机器学习是什么机器学习框架机器学习Learning Map监督学习半监督学习和迁移学习无监督学习结构化学习强化学习为什么要学习机器学习总结机器学习介绍人工智能其实早在1950年左右就被提出了,那个时候人们希望机器能跟人一样拥有智慧能做事,最开始就出现了人类设定好规则,机器执行,但是这样的机器永远只是执行人设定的,如果遇到...原创 2019-08-08 11:58:19 · 508 阅读 · 0 评论 -
目标检测学习-YOLO-v3
目标检测学习-YOLO-v3改进新的网络架构分类softmax改成logistic跨尺度的预测改进作者说自己玩了推特一年,没改进太多,不过也是有进步的,主要在三方面。新的网络架构这次作者参照了残差网络,构建了更加深的网络结构,充分发挥了3x3和1x1卷积的作用,叫做darknet53:分类softmax改成logistic为了适应一个框可能有多个类别,所以换成了二元交叉熵损失。跨尺...原创 2019-08-06 10:22:15 · 295 阅读 · 0 评论 -
李宏毅机器学习系列-深度学习小试牛刀MNIST
李宏毅机器学习系列-李宏毅机器学习系列-深度学习小试牛刀MNIST深度学习框架手写识别MNIST的例子批量训练总结深度学习框架先说说tensorflow和theano,他们都是灵活,很且相对底层的,所以学起来不是那么容易上手,但是keras就封装的比较好,虽然灵活性降低了,但是学习起来容易上手,可以很快的完成代码的编写和测试,初学的比较适合:有人用keras的心得,可见keras模块化非常...原创 2019-08-18 15:58:16 · 404 阅读 · 0 评论 -
李宏毅机器学习系列-分类-概率生成模型
李宏毅机器学习系列-分类:概率生成模型分类及其应用宝可梦分类案例用回归来做分类概率模型先验概率多元高斯模型极大似然估计改进后验概率总结分类及其应用分类简单来说就是你输入一个x,经过一个函数,给你输出一个值n,即属于哪个类,n是个离散的数值:主要应用有:信用评分:比如你去贷款,他会根据你的收入,存款,职业,年龄等因素来评估是否要贷款给你。医疗诊断:根据当前的症状,年龄,以往病史,来推断可...原创 2019-08-13 21:21:26 · 976 阅读 · 0 评论 -
李宏毅机器学习系列-回归
李宏毅机器学习系列-回归回归的介绍精灵宝可梦的例子定义模型给定训练集和损失函数选择最好的模型结果总结回归的介绍回归简单来说就是给了输入,然后输出是一个数值,比如下面举的几个例子。预测股票,输入为以往的很多股票数据,输入是明天的股票指数:自动驾驶,输入是很多传感器给的信号,比如测距的,摄像头目标检测的等等,输出的一部分可能就是方向盘的转角:推荐系统,输入是以往购买的产品和用户,输出是购...原创 2019-08-09 23:03:12 · 470 阅读 · 0 评论 -
李宏毅机器学习系列-回归演示
李宏毅机器学习系列-回归演示回归演示准备数据训练函数显示结果图像原始调用lr=0.0000001离我们最好的参数还远着,改变lr = 0.000001好像有点震荡了,继续加大看看lr = 0.00001可交互可视化调节调用,继续加大貌似也没用用AdaGrad来分别更新w和b的学习率总结回归演示用了一个简单的例子作为回归的演示,展示了学习率的问题,引出了AdaGrad的方法让不同的参数有自己的学...原创 2019-08-10 13:58:30 · 642 阅读 · 0 评论