李宏毅机器学习(2017) 笔记
文章平均质量分 90
记录台湾大学李宏毅2017年讲授的机器学习课程笔记。
Jimmyzqb
这个作者很懒,什么都没留下…
展开
-
机器学习简介
机器学习是为了达成人工智慧的手段,它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。目录机器学习从数据中寻找函数机器学习建模步骤(以监督学习为例子)机器学习框架(Learning Map)机器学习框架简图机器学习思维导图机器学习从数据中寻找函数语音识别(从声波信号中寻找语音识别函数,判断...原创 2018-08-28 11:33:40 · 4074 阅读 · 0 评论 -
1、【李宏毅机器学习(2017)】Regression - Case Study(回归-案例分析)
本篇博客将按照机器学习简介中机器学习建模步骤,结合宝可梦(神奇宝贝)具体数据进行案例分析。目录Objective通过训练宝可梦属性的历史数据构建回归模型,输入宝可梦进化前的属性数据,预测宝可梦进化后的Combat Power (CP)。 step1:Model假设进化前的xcpxcpx_{cp}与进化后的xcpxcpx_{cp}的(即yyy)存在关系f1,f2…fn,(f...原创 2018-08-28 12:27:34 · 4062 阅读 · 0 评论 -
3、【李宏毅机器学习(2017)】Gradient Descent(梯度下降)
本节课将深入学习机器学习简介中机器学习建模步骤3中优化方法Gradient Descent(梯度下降)。目录梯度下降算法介绍自动调整学习速率学习速率对算法的影响Adagrad随机梯度下降Feature Scaling理论部分梯度下降算法的限制梯度下降算法介绍自动调整学习速率学习速率对算法的影响如果学习速率适合,那么优化Loss...原创 2018-08-28 12:42:07 · 3899 阅读 · 0 评论 -
4、【李宏毅机器学习(2017)】Classification- Probabilistic Generative Model(分类-概率生成模型)
本篇博客将介绍监督学习中另一主要应用——分类算法,不同于回归算法回归算法,分类算法的输出是离散的分类变量,在实际有着广泛的应用。目录分类问题分类问题中的线性回归分类问题算法贝叶斯贝叶斯公式极大似然估计参数朴素贝叶斯分类问题分类问题中的线性回归我们考虑一个包含两类的数据集,一类标记为-1,一类标记为1,如果对于左图中的数据利用回归模型可以...原创 2018-08-28 12:59:50 · 4100 阅读 · 0 评论 -
5、【李宏毅机器学习(2017)】Logistic Regression(Logistic回归)
本篇博客将在分类模型基础上继续,并开始学习一种常用的分类算法——Logistic回归,同样按照机器学习简介中机器学习建模步骤。目录step1step2step3Logistic Regression与Linear Regression差异为什么在Logistic回归中使用Cross entropy而非MSE做模型选择的标准?Multi-class Classific...原创 2018-08-28 14:58:03 · 4558 阅读 · 1 评论 -
6、【李宏毅机器学习(2017)】Brief Introduction of Deep Learning(深度学习简介)
在上一篇博客逻辑回归基础上已经引出了神经网络(深度学习)的概念,在这篇博客中将进一步介绍时下如日中天的话题——深度学习。目录历史回顾Three Steps for Deep Learningstep1Fully Connect Feedforward Networkstep2step3为什么需要深度学习历史回顾Three Steps f...原创 2018-08-28 19:27:22 · 3602 阅读 · 0 评论 -
7、【李宏毅机器学习(2017)】Backpropagation(反向传播算法)
上一篇博客介绍了深度学习的历史和思想,本篇博客将介绍在神经网络计算中常用的反向传播算法。目录复习Gradient Descent链式求导法则Backpropagation反向传播算法介绍前向传播算法和反响传播算法复习Gradient Descent在学习反向传播算法之前重新回归一下梯度下降算法,在神经网络求解最优化Loss functio...原创 2018-08-28 19:46:15 · 5111 阅读 · 0 评论 -
8、【李宏毅机器学习(2017)】Keras
上一篇博客介绍了反向传播算法的理论部分,这一篇博客将利用python的模块Keras开始神经网络算法的实战。目录Keras介绍Keras使用step1step2step3使用keras模型进行预测神经网络中参数batch_size与nb_epoch介绍batch_size与nb_epoch的加速作用batch_size不同大小对计算耗时的影响batch_si...原创 2018-08-28 20:11:52 · 4331 阅读 · 0 评论 -
9、【李宏毅机器学习(2017)】Tips for Deep Learning(深度学习优化)
在上一篇博客中介绍了Keras,并使用Keras训练数据进行预测,得到的效果并不理想,接下来将以此为基础优化模型,提高预测的精度。目录误差分析模型误差原因分析模型优化方案New activation functionVanishing Gradient ProblemReLUMaxoutMaxout介绍Maxiout方法的训练Adaptive Lear...原创 2018-08-29 09:31:18 · 3988 阅读 · 0 评论 -
10、【李宏毅机器学习(2017)】Convolutional Neural Network(卷积神经网络)
上一篇博客介绍了神经网络构建的整个过程以及优化思路,本篇博客将进一步介绍卷积神经网络(CNN,Convolutional Neural Network)。目录Why CNN?CNN模型ConvolutionMax PoolingConvolution+Max PoolingKeras实战演练Why CNN?CNN本质是原来full-connecte...原创 2018-08-29 09:55:24 · 3836 阅读 · 0 评论 -
11、【李宏毅机器学习(2017)】Why Deep Learning? (为什么是深度学习?)
理论上,一层隐藏层的神经网络就可以表示任意的函数,但是从效率、精度考量,在实际的神经网络构建中往往采用多个隐藏层(即深度学习)。本篇博客将介绍深度学习的优势。目录相同神经元个数的深度学习在神经元个数相同的情况下,多层神经网络的精度高于单层神经网络。 模组化举个图像识别的例子,识别长发男生、长发女生、短发男生和短发女生,如下,由于长发男生样本少,所以模型训练出来的效...原创 2018-08-29 10:11:31 · 4187 阅读 · 0 评论 -
12、【李宏毅机器学习(2017)】Semi-supervised Learning(半监督学习)
在前面的博客中主要介绍的算法全部都是监督学习的算法,接下来的博客将开始介绍半监督学习算法。目录半监督学习介绍半监督学习与监督学习监督学习中的样本中的是已知的,所以监督学习算法可以在训练集数据中充分使用数据的信息半监督学习的样本中只有R个样本的是已知,U个样本的未知,且通常U远大于R – Transductive learning :将未知标签的数据作为测试集数据(...原创 2018-08-29 10:41:44 · 5335 阅读 · 1 评论 -
13、【李宏毅机器学习(2017)】Unsupervised Learning: Linear Dimension Reduction(无监督学习:线性降维)
在前面的博客中介绍了监督学习和半监督学习,本篇博客将开始介绍无监督学习。目录无监督学习介绍监督学习、半监督学习、无监督学习无监督学习的用处聚类(Clustering)K均值聚类Hierarchical Agglomerative Clustering (HAC)降维( Dimension Reduction)Feature selectionPrincipl...原创 2018-08-29 11:27:01 · 4232 阅读 · 1 评论 -
14、【李宏毅机器学习(2017)】Unsupervised Learning: Word Embedding(无监督学习:词嵌入)
上一篇博客介绍了无监督学习中的线性降维方法,本篇博客将继续介绍无监督学习在文字中的降维方法——Word Embedding。目录Word EmbeddingWord Embedding介绍利用上下文Count basedPerdition basedWord EmbeddingWord Embedding介绍Word Embedding希望...原创 2018-08-29 11:39:16 · 3790 阅读 · 1 评论 -
15、【李宏毅机器学习(2017)】Unsupervised Learning: Neighbor Embedding(无监督学习:邻域嵌套)
上一篇博客介绍了无监督学习在文字中的降维方法——Word Embedding,本篇博客将继续介绍无监督学习算法的降维方法——Neighbor Embedding。目录Locally Linear Embedding (LLE)Laplacian EigenmapsT-distributed Stochastic Neighbor Embedding (t-SNE)t-SNE算...原创 2018-08-29 11:52:04 · 4019 阅读 · 0 评论 -
16、【李宏毅机器学习(2017)】Unsupervised Learning: Deep Auto-encoder(无监督学习:深度自动编码器)
本篇博客将介绍无监督学习算法中的 Deep Auto-encoder。目录Deep Auto-encoderDeep Auto-encoder的降维作用Auto-encoder – Text RetrievalAuto- encoder for CNNAuto-encoder – Pre-training DNNDecoderDeep Auto-encode...原创 2018-08-29 11:59:56 · 4461 阅读 · 0 评论