lizhaoxinLZX-CSDN博客

原创 GAN的基本理论

李宏毅GAN笔记——基本理论11把图像数据看做一个高维向量，其实其是有分布的，因为在图像向量所在的高维空间中只有非常少的部分sample出来的image看起来像人脸：真实人脸的分布Pdata(x)是存在的，但是我们不知道，我们希望寻找一个分布PG(x;θ)与Pdata越接近越好，其中PG(x;θ)的分布由θ决定，我们从Pdata(x)中sample一组图片，计算在分布PG(x;θ)中sample该组图片的概率L，我们的目标就是最大化L。...

2021-05-05 17:50:27 261

原创 1 GAN介绍

李宏毅GAN笔记——引入1 基本概念1.1 Generation1.2 Discriminator1.3 Generator和Discriminator的关系2 算法流程3 GAN的原理3.1 Structured Learning3.2 Auto-encoder3.3 为什么不让Discriminator自己产生图片4 对比1 基本概念1.1 Generation人为给定一个向量则输出一个图片或一段文本。1.2 Discriminator输出的数值越大表示输入的图像分辨率越高1.3 Gen

2021-05-04 17:36:44 361

原创 1 强化学习简介

李宏毅强化学习笔记——引入1 概念介绍1 概念介绍以往Behavior Cloning的策略有可能让机器学到不重要的信息，解决这一问题的方法就是：1. Reinforcement Learning，2. Learning by demonstration。其中Invers Reinforcement Learning是Learning by demonstration的一种。电子游戏中一场游戏叫做一个episode，围棋中一盘棋叫做一个episode模型中三个对象：Actor、Environment

2021-05-04 17:35:23 180

原创 5.1 时序模型——循环神经网络RNN

吴恩达深度学习笔记——十三、第五课第一周：时序模型——循环神经网络RNN1 时序模型简介1.1 时序模型的用处1.2 符号定义1 时序模型简介1.1 时序模型的用处以上的模型中，有的输入是时序数据，有的输出是时序数据，有的输入输出都是时序数据。1.2 符号定义...

2021-04-28 20:18:46 769

原创 4.4 卷积神经网络的重要应用

吴恩达深度学习笔记——十二、第四课第四周：卷积神经网络的重要应用1 人脸识别1.1 人脸识别简介1.2 one-shot学习1.3 Siamese network1.4 Tirplet 损失函数1 人脸识别1.1 人脸识别简介人脸验证与人脸识别不同：同时人脸识别中一个很重要的方向就是检测是否是活的人脸，还是一张图片，这就需要我们训练神经网络时训练集带有这样的标签。1.2 one-shot学习人脸识别的一个难点就是我们的学习器需要仅仅通过一张该人物的图片学习到识别人脸，我们的解决办法是使用d函数

2021-04-23 19:52:18 816

原创 4.3 目标识别

吴恩达深度学习笔记——十一、第四课第三周：目标识别1 目标定位1 目标定位

2021-04-22 15:39:35 244

原创 4.2 卷积神经网络实例分析

吴恩达深度学习笔记——十、第四课第一周：卷积神经网络实例分析1 经典网络1.1 LeNet - 51.2 AlexNet1.3 VGG-162 残差网络(ResNet)2.1 Residual Block2.2 Residual Networks结构和性能2.3 ResNet为什么彳亍3 网络中的网络以及1×1卷积4 Inception Network4.1 核心思想4.2 Inception 的不足4.3 建立Inception Network5 迁移学习6 Data Augmentation7 计算机视

2021-04-18 16:10:27 670

原创十二(扩展)、SVM关于核函数的补充

吴恩达机器学习笔记——十二、SVM关于核函数的补充1 为什么要用核函数2 怎么应用核函数2.1 核函数反应高纬度空间的几何性质2.2 内积矩阵/核矩阵2.3 一个二分类的例子2.4 核函数应具有的性质2.5 常用的核函数3 Dual RepresentationPS：深入理解核函数需要泛函分析和高等微积分的知识，这里我们做基础了解。1 为什么要用核函数我们使用核函数的目的是：对于在原平面线形不可分的问题，通过核函数映射到高维特征空间，使其两类样本点变得线形可分（可以用一个线形超平面分开）。2 怎么

2021-04-17 16:06:43 337

原创 4.1 基于卷积的计算机视觉

吴恩达深度学习笔记——七、第四课第一周：计算机视觉1 边缘检测1.1 卷积1.2 为什么卷积核可以边缘检测1.3 其他边缘检测算子1.4 padding1.5 卷积步长1 边缘检测1.1 卷积边缘检测算子可以检测垂直和水平的边缘，我们以灰度图像垂直边缘检测算子为例，输出矩阵左上角元素计算方法是：左边第二个红色方框计算方法如下：以此类推：通过代码实现：conv_forward() #Pythontf.nn.conv2d() #tensorflowConv2D() # Keras1.

2021-04-17 15:59:47 160

原创 3.2 机器学习调节策略（下）

吴恩达深度学习笔记——七、第三课第二周：机器学习策略（下）1 误差分析2 清楚标注错误的数据3 在不同的划分上进行训练并测试3.2 如何划分数据集3.2 不同集上的误差之间的差距所反映的问题3.3 解决data mismatch问题的办法1 误差分析当我们训练学习器但是效果不是很好时，我们往往需要进行误差分析，来确定下一步向哪个方向优化。就是对误分类的图片进行分析，看看是什么导致的误分类，然后优化算法减小该因素的影响，如果有多种因素，那我我们可以首先解决主要的因素。2 清楚标注错误的数据首先应声明的

2021-04-14 11:39:39 354

原创 3.1 机器学习调节策略（上）

吴恩达深度学习笔记——七、第三课第一周：机器学习的策略0 什么是机器学习(ML)策略1 正交化（Orthogonalize）2 单一实数评估指标2.10 什么是机器学习(ML)策略当我们训练一个机器学习算法时，可能会发现我们的学习器效果不够好，凭借我们现有的知识，可能会选择以下改进方法：但是其中一些方法对当前学习器的性能提升是有用的，而更多的方法对当前学习器的性能提升并没有效果，我们要会判断哪个方法值得一试，哪些方法应该放弃。这一课十分重要，因为可以在将来做应用时节省大量时间。1 正交化（Orth

2021-04-13 15:56:04 176

原创 2.3 如何系统调节超参数

吴恩达深度学习笔记——六、第二课第三周：超参数调节1 哪些是超参数2 为超参数选择合适的范围1 哪些是超参数在训练大型模型时，超参数的选择是一件比较复杂的事情。红色最重要，其次是橙色，再次是紫色在一些时候我们不知道哪个超参数更重要的时候，我们往往随机试验一些超参数的数值，并变化的调节这些超参数的数值，我们就可以发现哪个最重要了，但是我们调节的时候不要使用均匀变换各个超参数的数值，而要在一定范围内随机生成，这样可以更快找到哪个超参数更重要。另一个搜索哪个超参数更重要的方法就是从粗糙到精细的策略。

2021-04-10 11:20:52 238

原创 2.2 优化神经网络（下）

吴恩达深度学习笔记——五、第二课第二周：优化神经网络1 Mini-Batch梯度下降算法1.1 算法步骤1.2 Mini-Batch算法的讨论2 指数加权平均1 Mini-Batch梯度下降算法尽管向量化的方法可以避免使用循环一次处理m个样本，但是当m非常非常大时，处理速度仍然会变得很慢，为了解决这一问题，有了Mini-Batch算法。1.1 算法步骤将训练集分为多个小的训练子集，每个子集为一个Mini-Batch，比如将一个含有500万训练样本法训练集分为5000个Mini-Batch，每个Mi

2021-03-30 17:52:57 205 1

原创 2.1 优化神经网络（上）

吴恩达深度学习笔记——四、第二课第一周：优化神经网络1 机器学习的基本步骤1 机器学习的基本步骤训练完一个模型之后首先检查是否模型有高偏差，如果有高偏差的问题，那么应该选择一个更复杂的网络，比如增加隐层和神经元个数，或者花更多时间训练模型，或者尝试更先进的优化算法，或者选择新型的神经网络架构。接着检查是否存在高方差问题，如果存在，则可以通过使用更多训练数据解决，或者使用正则化项，或者选择更好的神经网络架构...

2021-03-04 17:04:35 201

原创 1.4 深层神经网络

吴恩达深度学习笔记——三、第一课第四周：深层神经网络1 从logistics 回归到浅层神经网络再到深层神经网络的结构图1 前向传播和反向传播1.1 前向传播1 从logistics 回归到浅层神经网络再到深层神经网络的结构图符号规定1 前向传播和反向传播1.1 前向传播...

2021-03-02 16:47:06 76

原创 1.3 浅层神经网络

吴恩达深度学习笔记——二、第一课第二周：浅层神经网络0 变量定义1 神经网络基本结构2 将多个样本用向量化的形式表达0 变量定义基础变量与吴恩达老师机器学习系列课程的变量定义规则一样。□[1]：表示神经网络第一个隐层的相关参数其中a[i]表示神经网络中不同层的中值，也是不同层中向下一层输出的值，则输入层的X也就可以用a[0]来表示。w2[1]：第一隐层，第二个神经元的参数1 神经网络基本结构上图中的神经网络共有2层（不计输入层），其中每个隐层都有两个参数w，b。其中第一个隐层的参数w[1]

2021-02-01 10:56:16 148

原创 1.1/2 概述和神经网络基础

吴恩达深度学习笔记——一、第一、二周，概述和神经网络基础0 前言1 规定性的说明2 Logistics 回归2.1 Logistics 回归模型2.2 损失函数(Loss Function)和代价函数(Cost Function)2.3 梯度下降算法向量化 (Vectorization)0 前言以下均是有监督的学习我们学习的数据一般有两种形式，一种是结构化数据，每一个数据项都有明确的含义；另一种是非结构化数据，计算机理解此类数据比较难，而人类却很容易理解非结构化数据。在神经网络发展的初期，实质上

2021-01-29 15:02:42 89

原创十六、推荐系统

吴恩达机器学习笔记——十六、推荐系统1 符号定义2 基于内容的推荐算法2.1 模型准备2.2 求解θ^(j)^的方法3 协同过滤算法3.1 同时求出x和θ4 均值归一化1 符号定义nu：用户数量。n1表示第一个用户nm：测评的产品数量r(i, j)：判断第j个用户是否对第i个产品进行了打分。r(i, j)=0或1y(i,j)：用户j对第i个电影的评分（只有r(i, j)=1时才有这一项）n：测评的产品的特征数量m(j)：用户j测评的产品数量2 基于内容的推荐算法2.1 模型准备本节一4个

2021-01-21 20:30:13 175

原创十五、异常检测

吴恩达机器学习笔记——十五、异常检测1 问题背景2 算法3 评估异常检测算法4 异常检测与有监督分类比较5 特征选择的问题6 多变量高斯分布6.1 问题引入6.2 多元高斯分布6.2 多元高斯分布在异常检测中的的应用1 问题背景对于一些没有标签的样本，例如制造厂中出厂的发动机，计算中心的计算机，样本量很大，且绝大多数都是正常工作的。我们将其特征提取出来，并计算其分布函数，对于一个新的样本xtest，也提取其特征，若xtest出现的概率小于阈值ε，则认为该样本是异常的。2 算法3 评估异常检测算法

2021-01-21 16:30:53 238

原创十四、主成分分析PCA

吴恩达机器学习笔记——十四、主成分分析PCA1 概念2 运用主成分分析进行降维的方法3 主成分数量选择4 如何将压缩后的点重新映射回原先的特征空间5 总结主成分分析是一种降维方法，当一个样本的两个维度的特征高度相关时，可以采用降维的方法来减少特征的维度来提高学习速度，减少存储空间使用。1 概念对于将维度从n维降到k维的问题，PCA的实质就是寻找k个n维向量u(1), u(2),…, u(k)，（n表示样本的特征维数），令样本点在这些向量方向上的投影误差最小。从上图来看，PCA向量的选取有点像线性回

2021-01-21 10:30:54 419

原创十三、聚类

吴恩达机器学习笔记——十三、聚类1 K-means 聚类2 优化目标3 选取聚类中心4 选取聚类数量4.1 Elbow Method4.2 根据用户实际需要聚类1 K-means 聚类K-means的另一个用处就是用来解决分离不佳的簇的分类问题，例如服装店收集到顾客信息，要为顾客制定S，M，L三种尺码的衣服，每种尺码的衣服尺寸应该如何确定呢？我们可以用K-means来解决。2 优化目标则K-means优化的目标其实就是最小化代价函数：3 选取聚类中心随机选取K个样本点初始化为聚类中心

2021-01-20 19:50:36 115

原创十二、支持向量机SVM

吴恩达机器学习笔记——十二、支持向量机SVM1 优化目标1.1 回顾1.2 代价函数2 惩罚因子/松弛因子C3 核函数3.1 什么是核函数3.2 如何选择标定点3.3 如何选择支持向量机中的参数3.3.1 松弛因子C3.3.2 高斯函数中的σ^2^4 使用SVM5 多分类1 优化目标1.1 回顾在logistics回归中，我们的预测输出模型是：我们希望我们的模型具有以下性能：则测试集中某一样本的代价函数是：如果求总的代价函数，则应该在式子前面加一个Σ求和。我们令z = θTx，则当y =

2021-01-20 17:12:28 264

原创十一、构建大型机器学习模型时的技巧

吴恩达机器学习笔记——十一、构建大型模型时的技巧1 合理选择特征2 要建立合适的误差分析指标3 不对称分类/偏斜类4 数据量问题1 合理选择特征对于文本分类问题，我们选择特征时应该多方面考虑，比如：单词首字母大小写十分认为是两个特征单词词缀不同是否认为是两个单词（student students，deal， dealer）标点符号的特征拼写错误的单词（w4tch，i0s），这是垃圾邮件用来骗过检索系统的一种技巧。邮件地址特征2 要建立合适的误差分析指标最好使用一个数值来评估不同模型针对

2021-01-19 17:45:00 140

原创十、机器学习的实用建议和指导

吴恩达机器学习笔记——十、实用建议和技巧1 前言2 评价算法性能2.1 对于线性回归2.2 对于Logistics回归2 模型选择2.1 确定回归多项式的次数1 前言如果在测试集上误差很大，我们有以下几种方法来尝试减小误差：增大训练集减少使用的特征数量，减少过拟合使用更多的特征（之前取的特征可能不全面）尝试增加多项式特征（x12, x22, x1x2…）减小正则化参数λ增大正则化参数λ但是很多时候选择以上哪一种方法是凭感觉的，这可能会浪费很多时间，以下我们将介绍几种方法，让我们提高效率

2021-01-19 15:33:22 327

原创李宏毅2020深度学习课程笔记：一、基础知识

李宏毅2020深度学习课程笔记：一、基础知识机器学习基础知识类别Regression线性模型如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入机器学习基础知识类别机器学习共有三个分支类别，分别是Regression、Classification和Generation：

2020-12-31 15:47:48 297

原创九、部署自己的神经网络

吴恩达机器学习笔记——九、部署自己的神经网络1 代价函数1.1 符号定义1.2 代价函数定义2 反向传播算法2.1 假设只有一个训练样本的情况2.2 一般情况（m个训练样本）2.3 反向传播的理解1 代价函数此处以解决分类问题为例来研究神经网络的代价函数1.1 符号定义L：神经网络的总层数Sl：第l层的神经元个数K：输出层神经元个数（对于二分类问题，K=1；对于多分类问题，K≥3）δj(l)：第l层，第j个神经元的误差aj(l)：第l层第j个神经元的激活函数Θij(l)：第l-1层的第j个

2020-12-31 11:32:09 701

原创八、神经网络

吴恩达机器学习笔记——八、神经网络为什么要用神经网络神经网络的表示神经元神经网络符号定义向量化神经网络所使用的特征非线性模型例子能实现“与”功能的神经网络能实现“或”功能的神经网络能实现“非”功能的神经网络能实现“同或”功能的神经网络实现多分类为什么要用神经网络用来解决特征太多、参数太多，计算量太大，甚至发生过拟合的问题对于一个只有两个变量的二分类问题，我们可以建立以下的分类边界表达式，并带入Sigmoid函数中，因为变量较少，我们可以很容易找到两个变量组合的一次方项、二次方项、三次方项…。通过梯度下

2020-12-30 11:45:02 211

lizhaoxin666的博客