![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
じんじん
这个作者很懒,什么都没留下…
展开
-
网络结构总结--卷积
下面图片和卷积核都按照正方形处理i 输入图片大小o 输出图片大小k kennel sizep padding1、No zero padding, unit stridesRelationship1. For any i and k,and for s=1 and p=0, o = (i−k)+1.2、Zero padding, unit stridesRelationship 2. For any i, k and p, and for s = 1, o ...原创 2020-08-19 20:36:12 · 137 阅读 · 0 评论 -
深度学习 - 深度学习的数据表示
深度学习的数据表示张量是一个数据容器。它包含的数据几乎总是数值数据,因此它是数字的容器。矩阵是二维张量。张量是矩阵向任意维度的推广。张量的维度通常叫作轴标量(0D 张量):仅包含一个数字的张量叫作标量(scalar,也叫标量张量、零维张量、0D 张量)向量(1D 张量):数字组成的数组叫作向量(vector)或一维张量(1D 张量)。一维张量只有一个轴。矩阵(2D 张量):向量组成的数组...原创 2020-04-12 11:04:34 · 612 阅读 · 0 评论 -
深度学习 --- 优化
1、学习和纯优化有什么不同机器学习通常是间接作用的。在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的。因此,我们只是间接地优化P。我们希望通过降低代价函数 J(θ) 来提高P。纯优化最小化目标 J 本身。通常,代价函数可写为训练集上的平均,如更希望最小化取自数据生成分布pdata 的期望,而不仅仅是有限训练集上的对应目标函数:经验...原创 2020-04-13 12:21:41 · 310 阅读 · 0 评论 -
深度学习 --- 正则化
有许多正则化策略。有些策略向机器学习模型添加限制参数值的额外约束。有些策略向目标函数增加额外项来对参数值进行软约束有时候,这些约束和惩罚被设计为编码特定类型的先验知识;其他时候,这些约束和惩罚被设计为偏好简单模型,以便提高泛化能力。有时,惩罚和和约束对于确定欠定的问题是必要的其他形式的正则化,如被称为集成的方法,则结合多个假说来解释训练数据估计的正则化以偏差的增加...原创 2020-04-13 12:21:28 · 847 阅读 · 0 评论 -
深度学习 --- 神经网络基础
1、深度前馈网络深度前馈网络,也叫前馈神经网络,或者多层感知机(MLP)前馈网络的目标是近似某个函数f*。前馈网络定义了一个映射y=f(x;θ),并且学习参数θ的值,使它能够得到最佳的函数近似。前馈神经网络通常用不同函数复合在一起来表示。该模型与一个有向无环图相关联,而图描述了函数是如何复合在一起的。整流线性激活函数2、基于梯度的学习神经网络的非线性导致大多...原创 2020-04-13 12:20:57 · 634 阅读 · 0 评论 -
深度学习 --- 应用数学和机器学习基础(机器学习基础)
1、学习算法任务列举如下分类:计算机程序需要指定某些输入属于k类中的哪一类输入缺失分类:当一些输入可能丢失时,学习算法必须学习一组函数。有效定义这样一个大集合函数的方法是学习所有相关变量的概率分布,然后通过边缘化缺失变量来解决分类任务。计算机程序仅需学习一个描述联合概率分布的函数回归:对给定输入预测数值转录:机器学习系统观测一些相对非结构化表示的数据,并转录信息为离散的文本形式...原创 2020-04-12 09:42:25 · 1122 阅读 · 0 评论 -
深度学习 --- 应用数学和机器学习基础(数值计算)
机器学习算法通常需要大量的数值计算。这通常指通过迭代过程更新解得估计值来解决数学问题的算法,而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化和线性方程组的求解。1、上溢和下溢连续数学在数字计算机上的根本困难是,我们需要通过有限数量的位模式来表示无限多的实数。这意味着我们在计算机中表示实数时,几乎总会引入一些近似误差。在许多情况下,这仅仅是舍入误差。舍入误差会导致一些问题,...原创 2020-04-12 09:30:10 · 833 阅读 · 0 评论 -
深度学习 --- 应用数学和机器学习基础(概率论与信息论)
一、概率论概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性声明的公理。概率论两种用途:首先,概率法则告诉我们AI系统如何推理,据此我们设计一些算法来计算或者估算由概率论导出的表达式;其次,可以用概率和统计从理论上分析我们提出的AI系统的行为。概率论使我们能够提出不确定性的声明以及在不确定性存在的情况下进行推理,而信息论使我们能够量化概...原创 2020-04-12 09:18:07 · 409 阅读 · 0 评论 -
深度学习 --- 应用数学和机器学习基础(线性代数)
1、线性相关和生成子空间对于线性方程组:Ax=b,如果逆矩阵 存在,那么对每一个向量b恰好存在一个解。但是,对于方程组而言,对于向量b的某些值,有可能不存在解或者存在无限多解。为了分析方程有多少个解,我们可以将A的列向量看作从原点出发的不同方向,确定有多少种方法可以到达向量b。在这个观点下,向量x中的每个元素表示我们应该沿着这些方向走多远,即xi表示我们需要沿着第i个向量的方向走多远。一般...原创 2020-04-12 09:08:29 · 468 阅读 · 0 评论