![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李宏毅学习机器
文章平均质量分 72
帅气的弟八哥
敏于行而慎于言,讷于言而敏于行
展开
-
李宏毅机器学习课程8~~~keras
keraskeras示例确定网络结构确定损失函数确定训练网络参数batchsize与运算时间,平行运算,可以缩简运算时间。batchsize不能太大,这是由于内存的关系。此外,batchsize太大容易陷入局部极值点或者鞍点。batchsize=1,类似于随机梯度下降法,这样即使有GPU也不会加速运算。模型预测原创 2017-07-30 08:45:49 · 1156 阅读 · 0 评论 -
李宏毅机器学习课程3~~~梯度下降法
梯度下降法描述梯度下降法是为了找到最优的目标函数,寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程,每次更新参数学到的函数都会使得误差损失越来越小,也就是说学习到的参数函数越来越逼近最优函数。参数的更新是按照损失函数的等高线的方向进行的。梯度下降是一阶导数,梯度下降是用平面来逼近局部。 牛顿法是二阶导数,牛顿法是用原创 2017-07-27 09:08:28 · 2676 阅读 · 1 评论 -
李宏毅机器学习课程9~~~深度学习技巧
Recipe of Deep LearningOverfittingoverfitting的判断是要训练误差与测试误差做比较。这个56-layer的网络在训练集上都没有训练好,说白了就是有点欠拟合。所以仅仅依靠测试集上的结果来判断56-layer比20-layer overfitting是不合理的。更多理解见 Overfitting and Underfit原创 2017-07-30 08:46:28 · 5398 阅读 · 0 评论 -
李宏毅机器学习课程-Structured Learning
Simple structured learning framework for python pystruct-github Slides for explaining structured prediction and PyStruct -github一、Structured Learning-Unifed Framework之前的input and output原创 2017-12-13 15:39:24 · 1140 阅读 · 0 评论 -
李宏毅机器学习课程-Transfer Learning
深度学习 -> 强化学习 ->迁移学习(杨强教授报告)李宏毅机器学习课程-Transfer Learning迁移学习-吴恩达 freeze待处理的理解深层神经网络中的迁移学习及TensorFlow实现 Transfer Learning模式Similar domain, different tasksDifferent domains, same原创 2017-12-13 09:41:30 · 4063 阅读 · 2 评论 -
李宏毅机器学习课程2~~~误差从哪里来?
Stanford机器学习—第六讲. 怎样选择机器学习方法、系统误差来源误差主要来自于偏差和方差。数学上定义: 通过covariate X 预测 Y ,我们假设存在如下关系: Y = f(X) + ϵ 满足正态分布均值为0 方差σϵ 模型预测错误定义为:期望误差分解为三个非负项的和,即本真噪音、bias和 variance。https://en.w原创 2017-07-26 07:12:48 · 1504 阅读 · 1 评论 -
李宏毅机器学习课程6~~~深度学习入门
深度学习历史深度学习经典步骤神经网络的符合标记含义Wij 代表的是从神经元j到神经元i,这样写的目的是便于表达,否则最后的表达式子就是Wij的转置,细节见下面。每个神经元的偏执值组成一个向量b单个神经元的输出结果 所有神经元输出的结果深度学习示例数字识别将图片reshape到一列(按行reshape或者按列reshape均可),类别可用0ne-hot来标记。深度学习损失函数批量算损失,梯度下降法去原创 2017-07-30 08:43:54 · 1553 阅读 · 0 评论 -
李宏毅机器学习课程12~~~半监督学习
Semi-supervised LearningThe distribution of the unlabeled data tell us something. Usually with some assumptions.Supervised Generative Model对比学习见 李宏毅机器学习课程4~~~分类:概率生成模型EM算法思路来最大化似然函数。Self-training Self原创 2017-09-13 07:59:58 · 3945 阅读 · 0 评论 -
李宏毅机器学习课程5~~~分类:逻辑回归
Function Set不同的w,b来确定不同的函数,这样就组成了函数集合,不同的w,b可以来表达不同的分布函数。Good of a Function 变换表达形式两个Bernoulli distribution的交叉熵。所谓交叉熵,是用来刻画两个分布的相似性。在这里,交叉熵可以理解为真实分布与预测分布的相似度。同分布的话,交叉熵是0Finding the best Function上式表明预测原创 2017-07-30 08:42:57 · 1911 阅读 · 0 评论 -
李宏毅机器学习课程7~~~反向传播
到底为什么基于反向传播的纯监督学习在过去表现不佳?Geoffrey Hinton总结了目前发现的四个方面问题:带标签的数据集很小,只有现在的千分之一.计算性能很慢,只有现在的百万分之一.权重的初始化方式笨拙.使用了错误的非线性模型。深度学习=许多训练数据+并行计算+规模化、灵巧的的算法链式法则反向传播直接套用链式法则先计算链式法则里面的第一项计算链式法则第二项,第二项继续使用链式法则链式法则原创 2017-07-30 08:44:41 · 1308 阅读 · 0 评论 -
李宏毅机器学习课程4~~~分类:概率生成模型
分类问题用回归来解决?当有右图所示的点时,这些点会大幅改变分类线的位置。这时候就会导致整体的回归结果变差。当把多分类当成回归问题,类别分别为1,2,3,4……,因为回归的问题是预测具体的值,这样定义类别就默认这些数据之间有相应的关系。如果数据间没有具体的这些数字关系,就会导致最后的回归结果变差。概率生产模型对比学习见 李宏毅机器学习课程12~~~半监督学习 概率生成模型概率生成模型示例假设所有采样点原创 2017-07-30 06:45:12 · 1140 阅读 · 0 评论 -
李宏毅机器学习课程11~~~为何要"深"?
为何要“深”? pluskid的博客 Deep Learning and Shallow LearningBengio Y. Learning deep architectures for AI. Foundations and trends® in Machine Learning, 2009Deeper is Better?模型有更多的参数会有更好的结果,这是毋庸置疑的。深瘦的模型会比浅胖的模原创 2017-09-12 08:46:30 · 798 阅读 · 0 评论 -
李宏毅机器学习课程1~~~Introduction &Regression
机器学习介绍机器学习就是要找一个函数。机器学习的三大要素框架:训练集,函数集(模型集),损失函数集。机器学习图谱AI训练师的成长之路。1. 梯度下降法的理解Gradient Descent参数变化的方向就是损失函数减少的方向。图中小人向左走,还是向右走,主要是看哪个方向是损失函数减少的方向,学习率就是这个小人走的速度。理论上,全局最有解是最好的结果,但是实际上,我们有时候可能仅仅找到了局部最有解。所原创 2017-07-25 08:29:47 · 953 阅读 · 0 评论 -
李宏毅机器学习课程10~~~卷积神经网络
卷积的意义数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的像素灰度值与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值,并最终滑动完所有图像的过程。这张图可以清晰的表征出整个卷积过程中一次相乘后相加的结果:该图片选用3*3的卷积核,卷积核内共有九个数值,所以图片右上角公式中一共有九原创 2017-08-08 09:21:38 · 8385 阅读 · 1 评论