![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
公开课
文章平均质量分 81
老青蛙嘎嘎嘎
这个作者很懒,什么都没留下…
展开
-
人工智能实践-Tensorflow2.0 笔记3
人工智能实践-Tensorflow2.0 笔记6. 循环神经网络6.1. 循环核6.2 循环神经网络6.3 循环计算层6.4 tf 描述循环计算层6. 循环神经网络6.1. 循环核参数时间共享,循环层提取时间信息6.2 循环神经网络循环核按时间步展开借助循环核提取时间特征后,送入全连接网络yt=softmax(htwhy+by)ht=tanh(xtwxh+ht−1whh+bh)y_t=\text{softmax}(h_t w_{hy} + by) \\h_t=\text{tanh}(x_t原创 2021-05-26 17:39:29 · 187 阅读 · 0 评论 -
李宏毅2020机器学习1
李宏毅2020机器学习1. 简介2. 规定2.1. 环境2.2. Kaggle3. Regression3.1. Model3.2. 准备训练数据 Training Data,定义损失函数Loss3.3. Gradient Descent3.4. Overfitting 过拟合3.5. Regularization 正则化4. 误差从哪来?5. 梯度下降法8. 深度学习优化1. 简介机器学习就是自动找函式机器学习:语音识别,f(一段声音)=“How are you”图片识别,f(一张图片)=“C原创 2021-03-17 17:42:59 · 251 阅读 · 0 评论 -
人工智能实践-Tensorflow2.0 笔记2
人工智能实践-Tensorflow2.0 笔记4. 网络八股优化4.1. 优化内容概括4.2. 自制数据集4.3. 数据增强4.4. 断点续训4.5. 参数提取4.6. acc/loss 可视化4.7. 给图识物5. 卷积5.1. 卷积计算过程5.2. 感受野5.3. 全零填充5.4. TF描述卷积层5.5. 批标准化5.6. 池化 Pooling5.7. 舍弃 Dropout5.8. 卷积神经网络4. 网络八股优化4.1. 优化内容概括自制数据集,解决本领域应用数据增强,扩充数据集断点续训,存原创 2021-02-19 08:20:27 · 288 阅读 · 0 评论 -
人工智能实践-Tensorflow2.0 笔记1
人工智能实践-Tensorflow2.01. 神经网络1.1. 人工智能三学派1.2. 神经网络设计过程1.3. 张量创建1.4. TF2 常用函数1.5. TF2常用函数21.6. 鸢尾花数据集读入1.7. 神经网络实现鸢尾花分类1.8. Tensorflow2 安装2. 神经网络优化2.1. 预备知识2.2. 复杂度、学习率2.3. 激活函数2.4. 损失函数2.5. 过拟合2.6. 优化器3. 使用keras快速搭建神经网络3.1. 六步法3.2. 自定义model3.3. mnist数据集3.4.原创 2021-01-19 11:37:54 · 227 阅读 · 0 评论 -
深度学习笔记
深度学习1. 深度学习之神经网络的结构2. 深度学习之梯度下降法1. 深度学习之神经网络的结构机器学习时,实际上就是通过数据,找一大堆的数字参数,让代价函数的值最小Sigmoid:Sigmoid=11+e−x\text{Sigmoid} = \frac{1}{1+e^{-x}}Sigmoid=1+e−x1ReLU(线性整流函数):ReLU(a)=max(0,a)\text{ReLU}(a) = max(0, a)ReLU(a)=max(0,a)2. 深度学习之梯度下降法代价函数取决于网络原创 2020-10-29 16:26:48 · 109 阅读 · 0 评论 -
多变量微积分10-13
多变量微积分10. 二阶导检验11. 微分,链式法则12. 梯度,方向导数,切平面附录附录1. 梯度向量垂直于等值面的切平面附录2. 梯度下降法10. 二阶导检验函数的全局最值位于:临界点、定义域边界或无穷远处临界点类型:局部最大值、局部最小值或鞍点,由二阶导数判定假设函数f的二阶导数为:A=fxxB=fxyC=fyyA=f_{xx} \\B=f_{xy} \\C=f_{yy}A=fxxB=fxyC=fyy 那么:AC−B2>0 and A>0⇒lo原创 2020-10-23 18:09:29 · 198 阅读 · 0 评论 -
多变量微积分01-09
1. 点积应用:计算向量长度和夹角、判断正交原创 2020-10-10 17:59:50 · 356 阅读 · 0 评论 -
洛必达法则和反常积分
L' Hospital's Rule: 洛必达法则:它主要处理0除以0不定式或无穷除以无穷不定式:它提供了计算不定式极限的技巧,包括一些新型的极限,例如:证明:假设无法直接处理,即:那么,计算极限的技巧为:例子:新型极限的处理,需要先将它转换为不定式:...原创 2020-08-17 10:48:49 · 2082 阅读 · 0 评论 -
导数的应用
1. 线性近似(linear approximations)主要用途:它能简化函数,一个合理的近似常可以帮助解决问题在工程学中,线性近似应用非常广泛,人们只需要关心输入改变量与输出改变量之间的线性关系证明:因为极限的定义为:所以x0处的极限为:用割线斜率近似切线斜率:假设有一条曲线 y = f(x),那么它在切点处近似于其切线2. 二阶近似(quadratic approximation)相比于线性近似,二阶近似更精确一点二阶.原创 2020-07-16 10:47:05 · 1593 阅读 · 0 评论 -
微分方程
1. 定义什么是微分方程:包含未知函数的等式方程:包含未知数的等式注意:永远不会有一种方法,可以解所有的微分方程,直到现在,还存在着不能解的微分方程;人类所知的解这些方程的唯一途径,就是用计算机求数值解,事实上,在大多数应用里,那就是最后的办法;经济学、物理学中的微分方程常常不可解,因为它们会涉及到二阶或者三阶导数,很难求出解析解,事实上,你只能求出数值解,数值解通常简单很多。2. 区别微分方程和普通方程区别:普通方程的解是一个数或一组数;微分方程的解是一个函数或一组函数3. 分类原创 2020-05-30 21:22:02 · 8903 阅读 · 0 评论 -
微积分基础2-泰勒级数
1. 马克劳林级数-用多项式逼近任意函数选取一个中心点,然后用多项式逼近原函数,目的是为了用多项式代替原函数,因为多项式有很多优点:计算简单,求导简单,积分也简单Maclaurin series(马克劳林级数):是一个多项式,其中心在0点,是泰勒级数的特例,泰勒级数可以选取任意的中心点推导马克劳林级数:假设原函数为f(x),且可以计算出函数在0点处的值,并且也可以得到函数的各阶导数在0处的值,即f(0),f'(0),f''(0) ... 已知,那么我们可以不断增加多项式的项,用多项式来近原创 2020-05-22 11:23:36 · 846 阅读 · 0 评论 -
微积分基础-极限,导数,反导数
1. 瞬时变化率平均变化率-平均速度瞬时变化率-瞬时速度从平均速度引入瞬时速度比较合适。举例,对于平均速度来说,当时间差接近0时,平均速度就变成了瞬时速度平均速度又等于两点的斜率,当时间差接近0时,斜率(瞬时斜率)又等于曲线切线的斜率,因此曲线切线的斜率就是瞬时速度利用无限小增量的方式,就能得到某点的瞬时斜率斜率就是两点之间的平均变化率不指明方向叫速率,指明...原创 2020-04-12 21:53:10 · 5828 阅读 · 0 评论 -
预备课程
1. 加法交换率:多个数相加时,加的顺序可以改变2. 乘法交换率原创 2020-03-25 09:26:20 · 951 阅读 · 0 评论 -
二八、特征向量和特征值
1. 定义任意满足等式:的向量,称为变换T的特征向量,向量前的比例因子称为特征向量的特征值:为什么要讨论特征向量和特征值?因为特征向量是一组很好的基向量,变换矩阵在计算上非常简单。零向量无法作为基向量2. 特征值公式证明:假设因此因为向量v不等于0向量,所以B的零空间包含有非平凡元素,所以B的列向量是线性相关的,所以B不可逆,...原创 2020-02-23 20:52:53 · 822 阅读 · 0 评论 -
二七、标准正交基下求坐标、投影的简便方法
1. 定义如果一个基中的每一个向量长度为1,且任意两个不同的向量的点积等于0,那么该基就称为标准正交基,例如:2. 标准正交基的好处标准正交基有什么好处?它们可以构造很好的坐标系,此时求该坐标系中的坐标时,可以简化计算量假设:为子空间V的标准正交基,因此:通用的做法是:但如果维数较多,那么计算量会非常大;如果C不可逆,求解会更...原创 2020-02-19 17:37:22 · 6322 阅读 · 0 评论 -
二六、标准坐标与非标准坐标、标准基底的变换矩阵与非标准基底的变换矩阵的互相转换
1. 坐标定义假设V是Rn的一个子空间,V的一组基为:且此时,我们称常数为向量a在基B下的坐标:我们原来一直说的坐标为向量在标准基下的坐标,例如,R2的标准基为:向量在基S下的坐标称为标准坐标2. 基变换矩阵假设基B构成的矩阵为C:此时,矩阵C称为基变换矩阵,向量a称为标准坐标。...原创 2020-02-16 20:05:06 · 1898 阅读 · 0 评论 -
二五、最小二乘逼近
假设且方程无解,这意味着向量b不在A的列空间中:虽然方程无解,但我们可以求得一个与向量b最接近的解,即:最小时,方程:的解。因为向量在子空间的投影距离向量最近,因此:向量x*称为最小二乘解(least squares solution,estimate, approximation),它不是真正意义上的解,它是一个最优解。...原创 2020-02-14 11:29:56 · 570 阅读 · 0 评论 -
二四、向量在子空间上的投影
1. 向量在直线上的投影2. 向量在子空间上的投影直线L实际上是一个特殊的子空间定义:假设V是Rn的一个子空间,V正交补是Rn的另一个子空间,Rn中的任意向量x为那么,向量x在子空间V上的投影为向量v,向量x在子空间V正交补上的投影为w,即:在二维、三维空间可以可视化,超过三维就没有办法可视化了3. 求向量在子空间上的投影假设V是Rn的一个子空...原创 2020-02-11 16:08:01 · 6004 阅读 · 0 评论 -
二三、A转置乘以A可逆
如果矩阵A的列向量线性无关,那么A转置乘以A可逆证明:假设矩阵A为:1. 如果矩阵A的列向量线性无关,那么:时都等于0,即:时,向量x为零,即矩阵A的零空间仅包含0向量2. A转置乘以A的零空间假设向量v为(A转置乘以A)的零空间中的任一向量:因此,向量v又是矩阵A的零空间中的元素,故向量v等于0向量,因此(A转置乘以A)的列...原创 2020-02-04 11:52:22 · 17960 阅读 · 1 评论 -
二二、方程Ax=b的行空间中的解
1.假设,那么,行空间中存在唯一的元素 ,是的解证明,假设:那么:Rn中存在一个或多个向量x,满足上面的等式下面画出Rn,矩阵A的列空间、零空间,A的零空间的正交补:其中:根据前面的介绍,假设:那么唯一性证明:假设行空间中的r1也满足上面的方程,则:又因为行空间是子空间,因此:因此:既属于A...原创 2020-01-21 11:22:25 · 747 阅读 · 0 评论 -
二一、正交补、转置矩阵的秩、子空间的维度
1. 定义如果可以找到一个集合,集合中的每一个元素正交于子空间V中的每一个元素,那么该集合就称为V的正交补;Orthogonal complement of V, 可以简称为V perp,V perpendicular. V is some subspace of Rn.2. V的正交补是子空间证明:假设a,b是V的正交补中的元素,那么1. a+b是V的正交补中的元素么...原创 2019-12-11 09:15:08 · 6425 阅读 · 0 评论 -
二十、转置矩阵
1. 定义假设交换A的所有行和列后,形成的新矩阵,即为矩阵A的转置矩阵:对一个矩阵进行转置的转置,结果是原矩阵:2. 下面为转置矩阵的性质分析矩阵时,我们主要从加法、乘法、零空间、列空间、秩、行列式等角度进行分析矩阵又分为原始矩阵、逆矩阵、转置矩阵等,我们会分析这几种矩阵的加法、乘法、零空间、列空间、秩、行列式等之间的关系2.1矩阵加法的转置矩阵加法的...原创 2019-10-31 10:07:42 · 13406 阅读 · 0 评论 -
十九、行列式的意义
矩阵行列式的意义:1. 求解2x2矩阵的逆矩阵 2. 求解平行四边形的面积 3. 作为面积因子1. 求解2x2矩阵的逆矩阵求2x2矩阵的逆矩阵时,需要用到行列式,前面已经介绍过了2. 求解平行四边形的面积平行四边形的一个顶点位于笛卡尔坐标系的原点,将与原点相连的两边当成位置向量,再由两个位置向量构成一个矩阵,此时矩阵的行列式的绝对值,就是平行四边形的面积假设:两...原创 2019-10-25 16:01:59 · 1381 阅读 · 0 评论 -
八、阶梯型矩阵
1. 阶梯型矩阵若矩阵A满足两条件:(1)若有元素全为0的行,则该行应在最下边(2)非0行的第一个非0元素的列标号随行号的增加而增加,那么矩阵A为阶梯型矩阵,例如:2. 行简化阶梯型矩阵若矩阵A满足两条件:(1)矩阵A为阶梯型矩阵(2)非0首元(非0行的首个非0元素)所在的列,除了非0首元外,其它元素全为0,那么矩阵A为行简化阶梯型矩阵,例如:3. 行最简化阶梯型矩阵(re...原创 2019-05-16 17:40:38 · 12516 阅读 · 0 评论 -
七、向量的外积以及内外积的几何解释
1. 点积与外积的区别向量的乘法有两种,一种是点积--dot product,一种是外积--cross product点积和外积的区别:点积可以在任何维数的空间中定义,外积只能在三维空间中定义点积的结果是一个标量,外积的结果是一个向量2. 外积的定义在R3中,假设有两个向量:那么,与的外积是:外积就是两个向量组成的3x2矩阵的代数余子式由外积的定义...原创 2019-05-09 17:24:34 · 5790 阅读 · 0 评论 -
六、向量的夹角公式及R3中平面的一般形式
1. 公式中两个向量的夹角公式:且规定,当(向量共线)时:当(向量垂直)时,2. 推导过程向量夹角公式由余弦定理:推导出下面为具体的推导:等号左边又可以展开为:将展开后的结果代入余弦定理公式:因此:推导完毕。3. 垂直和正交的区别假如则和正交如果和正交,且和都不等...原创 2019-05-07 14:18:52 · 7673 阅读 · 0 评论 -
五、柯西-施瓦茨不等式及应用
1. 柯西-施瓦茨不等式假设且不为0,那么当且仅当时该不等式称为柯西-施瓦茨不等式,CauchySchwarz Inequality,其表示的是向量的点积与向量的长度之间的关系。2. 不等式证明假设因为向量的长度大于等于0,所以根据向量点积的交换率、分配率和结合律下面做一个替换,目的是简化已展开的不等式,假设...原创 2019-04-30 12:02:52 · 32338 阅读 · 1 评论 -
四、向量的点积、长度和属性
1. 向量的点积假设向量的点积:向量的点积不再是向量,而是一个标量。回顾一下向量的加法、标量乘法:2. 向量的长度的长度:向量的长度用双竖线表示。向量长度与点积之间的关系:3. 点积的性质交换率:分配率:结合律:4. 点积的几何意义...原创 2019-04-29 09:36:27 · 822 阅读 · 0 评论 -
三、线性代数中的一些基础概念
1.实数的集合表示法实数的集合用R表示,其定义为:所有非复数的数,everything but complex numbers.2. 有序集合: 所有有序n元组的集合,所有n个实数的有序集。3. 向量的另一种定义中的向量:中的一个特定值。线性代数的美在于,它不是只能应用在三维空间的图像上,还可以运用在N维空间。线性代数中,一般用列来表示向量,也可以用行来表示。向量的表...原创 2019-04-19 13:36:06 · 1205 阅读 · 0 评论 -
二、矩阵的实际用途
矩阵的实际用途就是求解线性方程组和求解向量组合。1. 求解线性方程组矩阵只是一种表示数据的方式,矩阵的加减乘除也是人造的规则,可以将运算规则定义为其它方式,但目前的运算规则被证明最有用。线性方程又称一次方程,多个线性方程的组合称为线性方程组。在笛卡尔坐标系上,任何一个两元一次方程的表示都是一条直线,所以称为线性方程;对两元线性方程的未知数个数进行扩展,如果有3个未知数,称为3元线性方程...原创 2019-04-16 22:35:59 · 10979 阅读 · 0 评论 -
十、矩阵零空间、线性无关、列空间、列空间的基、零度、秩等概念的整合
矩阵的零空间可以判断矩阵的列向量集合是否线性无关,且可以求出矩阵列空间的基假设矩阵A:1. 矩阵A的零空间:矩阵A的零空间是一个包含0向量的平面2. 矩阵A的列向量集合是否线性无关?如果矩阵的零空间仅包含0向量的话,矩阵的列向量集合线性无关,如果除了0向量外,还包含其他向量,那么列向量集合线性相关。因为矩阵A的零空间是一个包含0向量的平面,即可以不全为0,所...原创 2019-05-24 16:56:07 · 10955 阅读 · 0 评论 -
九、矩阵与向量的积
1. 矩阵与向量的积的两种理解方式假设:那么矩阵与向量的积为:因此,矩阵与向量的积,既可以看作A的行向量与列向量的点积,又可以看作A的列向量的加权和(或线性组合)2. 矩阵的零空间假设集合N为:矩阵与向量的积为0向量,那么N称为矩阵A的零空间,N也是一个子空间。3. 求矩阵的零空间假设矩阵A为:根据矩阵A的零空间的定义:将矩阵与向量的...原创 2019-05-17 14:45:39 · 3008 阅读 · 0 评论 -
十二、线性变换及矩阵向量积
1. 线性变换的定义线性代数讲的是向量的加减乘除,向量的变换等;向量变换中,有一种特殊的变换,叫做线性变换,那么,什么是线性变换呢?假设:如果:那么,向量变换T就是线性变换2. 线性变换举例假设:计算向量变换T是否是线性变换,假设:1. 计算条件一是否满足2. 计算条件二是否满足两个条件都满足,因此向量变换...原创 2019-05-31 18:22:18 · 1562 阅读 · 0 评论 -
十一、向量函数
1. 函数的概念一个集合中的元素到另一个集合中的元素的映射称为函数,集合中的元素可以是实数,也可以是向量,例如:又可以写为:2. 定义域、上域、值域定义域(domain):要映射的集合称为定义域,例如,对于上面的函数来说,定义域为R上域(codomain):映射到的集合称为上域,例如,对于上面的函数来说,上域为R值域(range):值域是上域的子集合,是函数实际...原创 2019-05-29 22:17:41 · 7675 阅读 · 2 评论 -
十三、通过线性变换,将R2中的三角形映射到R2中的另一个三角形
1. 通过向量定义三角形假设三个位置向量分别为:那么,点(-2, -2)到点(-2, 2)之间的线段为:所有位置向量的终点构成了直线L0同理,线段L1和L2分别为:这三个线段,共同组成了一个三角形,定义集合S包含三个线段:集合S中的所有位置向量的终点构成了一个三角形2. 定义变换矩阵假设线性变换为:那么,A就称为变换矩阵,例如:...原创 2019-06-04 18:18:20 · 1250 阅读 · 0 评论 -
十四、一些有趣的线性变换
1. 定义我们已经学习了矩阵的加法和数乘,那么,线性变换的加法和数乘呢?线性变换的加法和数乘实际上就是矩阵的加法和数乘。假设:那么:2. 证明3. 通过线性变换的加法和数乘,构造一些有趣的变换3.1 假如将R2空间中的三角形或任意图形沿Y轴翻转,且在Y轴方向上伸长两倍,那么,经过变换,x变成-x,y变成2y:T变换的变换矩阵为:上面的...原创 2019-06-17 17:28:36 · 920 阅读 · 0 评论 -
十六、逆函数
1. 定义函数就是一个集合到另一个集合的映射,如果集合中的元素是向量,那么函数又可以称为变换。定义:当且仅当满足下列条件时,我们就称函数f是可逆的:存在某个函数,我们称它为f逆,它是一个从Y到X的映射,且f逆结合f等于作用于X集合上的恒等函数,f结合f逆等于作用于Y集合上的恒等函数:2. 恒等函数 Identity function恒等函数:它是一个特殊的映射,将自己映射到...原创 2019-07-08 12:00:41 · 15832 阅读 · 0 评论 -
十五、复合变换
1. 定义假设:S和T的复合变换:首先对X中的向量执行S变换,得到Y中的向量,然后对Y中的向量进行T变换,最终得到集合Z中的向量。简单地说,复合变换直接将X映射到了Z。2. 两个线性变换的复合变换,仍然是一个线性变换假设:证明,条件1:条件2:因此,两个线性变换的复合变换,仍然是一个线性变换3. 复合变换的变换矩阵将复合变换表示成矩阵向量...原创 2019-06-28 18:05:29 · 1672 阅读 · 0 评论 -
十八、行列式
行列式就是一个数字而已。1. 2x2矩阵的行列式假设:那么A逆为:但是,并不是所有的矩阵都有逆矩阵,对于矩阵A,当ad-bc等于0时,上面的等式将没有意义,因此,ad-bc是个非常有趣的数,我们应该给它起一个名字,就叫行列式吧。很多人觉得既写竖线,又写中括号很麻烦,所以就省略了中括号。行列式不等于0,等价于矩阵A存在逆矩阵。行列式的重要作用就是判断矩阵是否存在逆...原创 2019-09-30 17:00:58 · 1344 阅读 · 0 评论 -
十七、逆函数(二)
1. 函数可逆的两个条件隐含的几何意义假设:“一对一”等价于“A的零空间是平凡的”,等价于“A的列向量集合是线性无关的”,等价于“A的秩等于n”,因此m=n,即矩阵A必须是个方阵,且矩阵A的行简化阶梯型为n*n的单位矩阵2. 逆矩阵是线性变换如果T是线性变换,且T可逆,那么T逆也是一个线性变换。看起来没什么,但其实这个结论非常重要,因为T逆是线性变换,因此T逆可以用一个...原创 2019-08-28 09:21:17 · 3120 阅读 · 0 评论