李弘毅机器学习笔记
weixin_mm975247003
做有趣的事,提升自己不是内卷,不积跬步无以至千里!
展开
-
李弘毅机器学习笔记:第一章
李弘毅机器学习笔记:第一章机器学习介绍机器学习相关的技术监督学习半监督学习迁移学习无监督学习监督学习中的结构化学习强化学习小贴士机器学习介绍这门课,我们预期可以学到什么呢?我想多数同学的心理预期就是你可以学到一个很潮的人工智慧。我们知道,从今年开始,人工智慧这个词突然变得非常非常非常的热门,讲大家、政府通都在讲人工智慧这个词。但人工智慧是什么呢?人工智慧其实一点都不是新的词,人工智慧这个词、...翻译 2019-09-16 22:11:18 · 1094 阅读 · 0 评论 -
李弘毅机器学习笔记:第十六章—无监督学习
李弘毅机器学习笔记:第十六章—无监督学习聚类K-means层次聚类Distributed Representation降维降维样例特征选择主成分分析数学推导主成分分析的另一个角度奇异值分解主成分分析和神经网络缺点应用实例矩阵分解FM推荐系统中的应用MF主题分析的应用未引入的其他相关方法我把dimension reduction分为两种,一种做的事情叫做“化繁为简”,它可以分为两种:一种是clu...翻译 2019-09-28 23:12:46 · 575 阅读 · 0 评论 -
李弘毅机器学习笔记:第十五章—半监督学习
李弘毅机器学习笔记:第十五章—半监督学习监督学习和半监督学习半监督学习的好处监督生成模型和半监督生成模型监督生成模型半监督生成模型假设一:Low-density SeparationSelf-training基于熵的正则化半监督SVM假设二:Smoothness Assumption聚类和标记基于图的方法Better Representation监督学习和半监督学习在supervised里面...翻译 2019-09-25 09:24:28 · 1037 阅读 · 0 评论 -
李弘毅机器学习笔记:第十四章—Why deep?
李弘毅机器学习笔记:第十四章—Why deep?问题1:越深越好?问题2:矮胖结构 v.s. 高瘦结构引入模块化深度学习使用语音识别举例语音辨识:传统的实现方法:HMM-GMM深度学习的实现方法 DNN两种方法的对比 GMM v.s. DNN普遍性定理举例使用逻辑电路举例使用剪窗花举例使用二位坐标举例端到端的学习语音识别图像识别更复杂的任务问题1:越深越好?learning从一层到七层,er...翻译 2019-09-24 13:13:23 · 403 阅读 · 0 评论 -
李弘毅机器学习笔记:第十三章—CNN
李弘毅机器学习笔记:第十二章—CNN为什么用CNNSmall regionSame PatternsSubsamplingCNN架构ConvolutionPropetry1Propetry2convolution和fully connected之间的关系Max poolingFlattenCNN in KerasCNN学到了什么?分析全连接层让图更像数字Deep DreamDeep styleCN...翻译 2019-09-23 22:12:13 · 483 阅读 · 0 评论 -
李弘毅机器学习笔记:第十二章—Recipe of Deep Learning
李弘毅机器学习笔记:第十二章—Recipe of Deep Learning神经网络的表现如何改进神经网络?新的激活函数梯度消失怎么样去解决梯度消失?Adaptive Learning RateEarly StoppingRegularizationDropout当你的模型表现不好,应该怎么处理?如上图建立deep learning的三个步骤• define a set function...翻译 2019-09-22 21:30:20 · 704 阅读 · 0 评论 -
李弘毅机器学习笔记:第十一章—Keras Demo
李弘毅机器学习笔记:第十一章—Keras Demo创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28∗2828\ast 2828∗28的dimension,其实就是说这是一张image,image的解析度是28∗2828\ast2828∗28,我们把它拉成长度是28∗2828\ast 2828∗28维的向量...翻译 2019-09-22 13:37:38 · 201 阅读 · 0 评论 -
李弘毅机器学习笔记:第十章:Keras2.0
李弘毅机器学习笔记:第十章:Keras2.0创建网络配置选择最好的方程使用模型创建网络假设我们要做的事情是手写数字辨识,那我们要建一个Network scratch,input是28∗2828\ast 2828∗28的dimension,其实就是说这是一张image,image的解析度是28∗2828\ast2828∗28,我们把它拉成长度是28∗2828\ast 2828∗28维的向量。ou...翻译 2019-09-21 19:58:56 · 252 阅读 · 0 评论 -
李弘毅机器学习笔记:第九章—"Hello world" of dee
李弘毅机器学习笔记:第九章—"Hello world" of deekeras 是什么示例步骤1:定义模型步骤2:模型评估步骤3:最佳模型3.1 Configuration3.2 寻找最优网络参数mini-batch 的原理详解使用mini-batch的原因:Speed模型保存和使用keras 是什么Keras 是一个用 Python 编写的高级神经网络 API,它能够以 TensorFlow...翻译 2019-09-21 18:51:39 · 234 阅读 · 0 评论 -
李弘毅机器学习笔记:第八章—Backprogation
李弘毅机器学习笔记:第七章—Backprogation背景梯度下降链式法则反向传播取出一个Neuron进行分析Forward PassBackward Passcase 1 : Output layercase 2 : Not Output Layer总结背景梯度下降给到 θ\thetaθ (weight and bias)先选择一个初始的 θ0\theta^0θ0,计算 θ0\the...翻译 2019-09-19 09:15:02 · 283 阅读 · 0 评论 -
李弘毅机器学习笔记:第七章—深度学习的发展趋势
李弘毅机器学习笔记:第七章—深度学习的发展趋势回顾一下deep learning的历史:1958: Perceptron (linear model)1969: Perceptron has limitation1980s: Multi-layer perceptronDo not have significant difference from DNN today1986: ...翻译 2019-09-18 18:48:31 · 749 阅读 · 0 评论 -
李弘毅机器学习笔记:第六章—Logistic Regression
李弘毅机器学习笔记:第六章—Logistic Regressionlogistic回归Step1 逻辑回归的函数集Step2 定义损失函数Step3 寻找最好的函数损失函数:为什么不学线性回归用平方误差?判别模型v.s. 生成模型一个好玩的例子判别方法不一定比生成方法好多类别分类Softmax为什么Softmax的输出可以用来估计后验概率?定义target逻辑回归的限制特征转换级联逻辑回归模型l...翻译 2019-09-18 16:57:02 · 249 阅读 · 0 评论 -
李弘毅机器学习笔记:第五章—分类
例子(神奇宝贝属性预测)分类概念分类要找一个 functionfunctionfunction 函数,输入对象 xxx 特征, 输出是该对象属于 nnn 个类别中是属于哪一个。例子1:比如信用评分【二分类问题】输入:收入,储蓄,行业,年龄,金融史…输出:是否拒绝拒绝贷款例子2:比如医疗诊断【多分类问题】输入:当前症状,年龄,性别,医疗史…输出:患了哪种疾病例子3:...翻译 2019-09-18 10:55:48 · 442 阅读 · 2 评论 -
李弘毅机器学习:第四章—梯度下降法
李弘毅机器学习:第四章—梯度下降法什么是梯度下降法?Review: 梯度下降法Tip1:调整学习速率小心翼翼地调整学习率自适应学习率Adagrad 算法Adagrad 是什么?Adagrad举例Adagrad 存在的矛盾?多参数下结论不一定成立Adagrad 进一步的解释Tip2:随机梯度下降法Tip3:特征缩放为什么要这样做?怎么做缩放?梯度下降的理论基础问题数学理论泰勒展开式定义多变量泰勒展开...翻译 2019-09-17 21:43:34 · 296 阅读 · 0 评论 -
李弘毅机器学习笔记:第三章—Error的来源
李弘毅机器学习笔记:第三章—Error的来源从上节课测试集数据来看,Average ErrorAverage\ ErrorAverage Error 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果,而这些 ErrorErrorError 的主要有两个来源,分别是 biasbiasbias 和 variancevariancevariance 。然...翻译 2019-09-17 15:57:57 · 259 阅读 · 0 评论 -
李弘毅机器学习笔记:回归演示
李弘毅机器学习笔记:回归演示现在假设有10个x_data和y_data,x和y之间的关系是y_data=b+w*x_data。b,w都是参数,是需要学习出来的。现在我们来练习用梯度下降找到b和w。x_data = [338., 333., 328., 207., 226., 25., 179., 60., 208., 606.]y_data = [640., 633., 619., 393....翻译 2019-09-17 15:35:14 · 250 阅读 · 0 评论 -
李弘毅机器学习笔记:第二章
李弘毅机器学习笔记:第二章回归定义和应用例子回归定义应用举例模型步骤Step 1:模型假设 - 线性模型一元线性模型(单个特征)多元线性模型(多个特征)Step 2:模型评估 - 损失函数收集和查看训练数据如何判断众多模型的好坏Step 3:最佳模型 - 梯度下降如何筛选最优的模型(参数w,b)梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验证训练好的模型的...翻译 2019-09-17 14:34:34 · 384 阅读 · 0 评论 -
李弘毅机器学习笔记:第十六章—无监督学习
李弘毅机器学习笔记:第十六章—无监督学习1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入具体步骤共享参数训练Various Architectures多语言嵌入多域嵌入文档嵌入语义嵌入Beyond Bag of Word1-of-N Encodingword embedding是dimension reduction的一个广为人知的应用。如果今天要你用一个vector来表...翻译 2019-09-29 10:07:34 · 1130 阅读 · 0 评论