- 博客(23)
- 收藏
- 关注
RSS订阅原创 李宏毅机器学习系列-结构化学习之结构化支持向量机
李宏毅机器学习系列-结构化学习之结构化支持向量机回顾统一框架统一框架的问题结构化学习的应用统一框架的问题解决方案前方高能线性可分的情况和结构化感知机训练次数的数学推导如何进行快速训练线性不可分情况定义损失函数梯度下降法考虑误差加上正则化结构化SVM切平面算法最难满足的限制多分类和二分类的SVM多分类SVM二分类SVM更好的SVM总结回顾统一框架上两篇介绍了什么事结构化学习，就是输入和输出的结...
2019-08-29 23:05:10
1117
原创 李宏毅机器学习系列-结构化学习之线性模型
李宏毅机器学习系列-结构化学习之线性模型要解决的问题线性模型要解决的问题上篇说了，我们要进行统一框架的结构化学习要解决三个问题，其实第一个和第三个问题是有联系的，如果第一个问题是F是个具体的形式，那第三个问题就好解决了：线性模型首先我们有一组样本x，y，每个对样本都用很多种特性来描述相互之间的关系大小：那我们的F就可以定义为下面的式子，也就是所有关系的线性组合：把他写成向量的形式...
2019-08-28 16:23:01
273
原创 李宏毅机器学习系列-结构化学习介绍
李宏毅机器学习系列-结构化学习介绍结构化学习是什么统一框架物体检测的例子文章总结的例子网页搜索的例子换个概率的角度理解这个框架框架遇到的问题与DNN的联系总结结构化学习是什么简单来说，就是找一个函数，输入一个X，输出一个Y，但是X,Y的结构是不一样的。比如结构可以是序列，列表，树，边界框等等。我们以前学的DNN，输入都是向量，输出也是向量：来看看一些例子：说语音识别和机器翻译：输入的是一...
2019-08-28 14:23:12
659
原创 李宏毅机器学习系列-无监督学习之生成模型
李宏毅机器学习系列-无监督学习之生成模型一让机器有有创造力生成模型PixelRNNVAE总结让机器有有创造力我们知道机器是可以学习我们告诉他的东西，也可以学习没有标签的东西，但是能不能让他自己有创造力呢，这个是可以有的，比如让他看了很多动漫头像后，他自己能不能尝试着画出来没出现过的，或者让他读了很多诗之后自己写几句：所以牛人门开始研究生成模型，比如openai发过的文章，开头引用了费曼黑板...
2019-08-27 18:16:09
927
2
原创 李宏毅机器学习系列-无监督学习之自编码器
李宏毅机器学习系列-无监督学习之自编码器自编码器是什么自编码器文字处理自编码器搜索相似图片自编码器预训练DNN自编码器去噪自编码器用于CNN自编码器可当做生成器总结自编码器是什么先举个例子，比如我们用一个神经网络要把一张图片压成一个code，希望这个code的维度比图片小，我们有很多的图片，但是没有code的标签，也就是我们有输入，没有输出，好像没办法学习：同理我们可以给一个随机的code...
2019-08-27 12:51:20
932
原创 李宏毅机器学习系列-无监督学习之PCA
李宏毅机器学习系列-无监督学习之PCA无监督学习做什么聚类(Clustering)分布式表示(Distributed Representation)降维主成分分析 (Principle component analysis)数学推导无监督学习做什么我们做无监督学习一般就是两个方向，一个是降维，比如下面的树，只有输入，没有标签，我们希望通过一个函数抽象出少量的特征来描述他们，于是就抽出来了一个更...
2019-08-26 11:36:53
1780
1
原创 李宏毅机器学习系列-半监督学习
李宏毅机器学习系列-半监督学习什么是半监督学习半监督学习的假设生成模型上的半监督学习Low-density Separation非黑即白自学习熵正则化半监督SVMSmoothness Assumption(平滑假设)Better Representation总结什么是半监督学习顾名思义应该是一般有标签，一般没标签吧，差不多，只是没标签的占大多数，比如下图，我们有6张图，只有两张是有标签的，另外...
2019-08-23 14:52:06
1233
1
原创 李宏毅机器学习系列-深度学习的模块化
李宏毅机器学习系列-深度学习模块化更深的网络更好么模块化模块化在语音上的应用语音识别端到端的学习更深的网络更好么通常来说，我们深度越深，参数越多，表现应该越好，这个是很正常的：但是我们也可以考虑不要深度，要宽度，如果不同的结构，同样的参数，到底哪个更好一点呢：我们做实验之后发现深度确实是比宽度效果要好，同样深度，参数越多越好：模块化那为什么深的比宽的好呢，我们可以用模块化来解释啊...
2019-08-22 20:51:52
1082
原创 李宏毅机器学习系列-卷积神经网络
李宏毅机器学习系列-卷积神经网络为什么要用卷积神经网络(CNN)卷积神经网络(CNN)基本结构卷积层卷积层的特点最大池化层Keras里该怎么做CNN呢CNN学到了什么Deep DreamDeep StyleCNN的应用总结为什么要用卷积神经网络(CNN)如果我们用一般的全连接神经网络来做图片的分类的话，应该是这样，我们将图片转换为一个向量，然后用很多层进行特征提取，最后输出一个向量，好像没啥问...
2019-08-21 20:05:27
1179
1
原创 李宏毅机器学习系列-深度学习小贴士
李宏毅机器学习系列-深度学习小贴士是过拟合的错么深度学习的技巧梯度消失ReluMaxout可调节的学习率RMSPropMomentumAdamEarly StoppingRegularizationDropout总结是过拟合的错么我们在做深度学习的时候经常会遇到一些问题，比如我们发现测试集上的效果不好，于是我们马上认为是过拟合，其实不一定，过拟合是在训练集效果好，测试集不好的情况下才有的，而如...
2019-08-20 17:29:29
351
原创 李宏毅机器学习系列-深度学习小试牛刀MNIST
李宏毅机器学习系列-李宏毅机器学习系列-深度学习小试牛刀MNIST深度学习框架手写识别MNIST的例子批量训练总结深度学习框架先说说tensorflow和theano，他们都是灵活，很且相对底层的，所以学起来不是那么容易上手，但是keras就封装的比较好，虽然灵活性降低了，但是学习起来容易上手，可以很快的完成代码的编写和测试，初学的比较适合：有人用keras的心得，可见keras模块化非常...
2019-08-18 15:58:16
390
原创 李宏毅机器学习系列-深度学习简介
李宏毅机器学习系列-深度学习简介深度学习的概况深度学习的步骤前馈神经网络全连接神经网络数字识别分类总结深度学习的概况深度学习从2012年的图像识别比赛开始就复苏了，发展越来越快，越来越好，具体他的发展历史可以百度下，可以追溯到很早时期，还有几个大起大落的阶段：可以看看这些时间点的重要发展：深度学习的步骤那深度学习的步骤是怎么样的呢，其实跟我们前面说的机器学习差不多，就跟把大象放冰箱里...
2019-08-16 13:56:08
2917
原创 李宏毅机器学习系列-逻辑回归
李宏毅机器学习系列-逻辑回归分类回顾逻辑回归+均方差损失函数分类回顾我们先回顾下前面我们讲的分类的步骤，第一步先找到一个模型集合，是个概率模型，最后可以转化为sigmoid函数，输入是一个线性函数，如果结果大于等于0.5，则认为是类1，否则是类2：如果画出结构图的话应该是这样，每个特征xix_ixi都有一个权重，然后加上偏置，输入到sigmoid函数里，得到0到1的概率值：第二步我们...
2019-08-15 12:35:58
527
原创 李宏毅机器学习系列-分类-概率生成模型
李宏毅机器学习系列-分类：概率生成模型分类及其应用宝可梦分类案例用回归来做分类概率模型先验概率多元高斯模型极大似然估计改进后验概率总结分类及其应用分类简单来说就是你输入一个x，经过一个函数，给你输出一个值n，即属于哪个类，n是个离散的数值：主要应用有：信用评分：比如你去贷款，他会根据你的收入，存款，职业，年龄等因素来评估是否要贷款给你。医疗诊断：根据当前的症状，年龄，以往病史，来推断可...
2019-08-13 21:21:26
944
原创 李宏毅机器学习系列-梯度下降法
李宏毅机器学习系列-梯度下降法梯度下降法回顾调节学习率梯度下降法回顾我们再定义损失函数之后，我们希望损失函数越小越好，于是想要寻找到一组参数θ∗\theta^*θ∗,使得他让损失函数取得的最小值，即：θ∗=argminθL(θ)\displaystyle \theta^*= arg \min_{\theta} L(\theta) θ∗=argθminL(θ)我们假设θ\thetaθ只有...
2019-08-12 15:26:38
768
2
原创 李宏毅机器学习系列-误差从哪来
李宏毅机器学习系列-误差从哪来误差从哪来我们的估计估计的偏差和方差获得更多数据观察结果偏差和方差对误差的影响如何处理高偏差如何处理高方差模型的选择总结误差从哪来我们继续上次的精灵宝可梦的CP值回归的例子，来看下上次的测试集的平均误差图，那误差从哪里来呢，从偏差和方差来，那么是偏差和方差呢，我们马上会讲到：我们的估计我们先来回顾下上次我们做的事情，就是预测一个方法，输入是宝可梦的信息，输出...
2019-08-10 17:47:14
323
原创 李宏毅机器学习系列-回归演示
李宏毅机器学习系列-回归演示回归演示准备数据训练函数显示结果图像原始调用lr=0.0000001离我们最好的参数还远着，改变lr = 0.000001好像有点震荡了，继续加大看看lr = 0.00001可交互可视化调节调用，继续加大貌似也没用用AdaGrad来分别更新w和b的学习率总结回归演示用了一个简单的例子作为回归的演示，展示了学习率的问题，引出了AdaGrad的方法让不同的参数有自己的学...
2019-08-10 13:58:30
609
原创 李宏毅机器学习系列-回归
李宏毅机器学习系列-回归回归的介绍精灵宝可梦的例子定义模型给定训练集和损失函数选择最好的模型结果总结回归的介绍回归简单来说就是给了输入，然后输出是一个数值，比如下面举的几个例子。预测股票，输入为以往的很多股票数据，输入是明天的股票指数：自动驾驶，输入是很多传感器给的信号，比如测距的，摄像头目标检测的等等，输出的一部分可能就是方向盘的转角：推荐系统，输入是以往购买的产品和用户，输出是购...
2019-08-09 23:03:12
433
原创 李宏毅机器学习系列-机器学习介绍
李宏毅机器学习系列-机器学习介绍机器学习介绍生物的本能人类设定好的天生本能机器学习是什么机器学习框架机器学习Learning Map监督学习半监督学习和迁移学习无监督学习结构化学习强化学习为什么要学习机器学习总结机器学习介绍人工智能其实早在1950年左右就被提出了，那个时候人们希望机器能跟人一样拥有智慧能做事，最开始就出现了人类设定好规则，机器执行，但是这样的机器永远只是执行人设定的，如果遇到...
2019-08-08 11:58:19
493
原创 目标检测学习-YOLO-v3
目标检测学习-YOLO-v3改进新的网络架构分类softmax改成logistic跨尺度的预测改进作者说自己玩了推特一年，没改进太多，不过也是有进步的，主要在三方面。新的网络架构这次作者参照了残差网络，构建了更加深的网络结构，充分发挥了3x3和1x1卷积的作用，叫做darknet53：分类softmax改成logistic为了适应一个框可能有多个类别，所以换成了二元交叉熵损失。跨尺...
2019-08-06 10:22:15
279
原创 目标检测学习-YOLO-v2
目标检测学习-YOLO-v2改进Batch Normalization(批量归一化)High Resolution Classifier(高分辨率分类器)Convolutional With Anchor Boxesr(带有锚框的卷积)Dimension Clusters(维度聚类)Direct location prediction(直接位置预测)Fine-Grained Features(细粒...
2019-08-05 21:26:44
424
原创 目标检测学习-YOLO-v1
目标检测学习-YOLO-v1前言主要思想具体做法模型训练总结前言前面几篇讲目标检测的是R-CNN系列，基本都是基于候选区来进行分类和回归，可以说是分了两步。本篇开始介绍YOLO系列的yolo-v1，引入了一种新的思路，就是把分类和回归问题都归结为回归问题，一步到位。主要思想YOLO的主要思想在于全局的去看整个图像，从左到右，从上到下的去看每一个地方，然后给每个地方两个框，以便于回归物体的...
2019-08-03 20:48:25
373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人