2018年09月_cheertt

原创 AI圣经-深度学习-读书笔记（四）-数值计算

数值计算机器学习算法通常需要大量的数值计算，这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化和线性方程组的求解。对上溢和下溢进行数值稳定的一个例子是softmax函数。病态条件条件数指的是函数相对于输入的微小变化而变化的快慢程度，输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能...

2018-09-25 09:45:35 259

原创 AI圣经-深度学习-读书笔记（三）-概率与信息论

概率与信息论1 概率论概率论使我们能够提出不确定的申明以及在不确定性存在的情况下进行推理，而信息论使我们能够量化概率分布中不确定性的总量。我们用概率来表示一种信任度，概率直接与事件发生的频率相联系，称为频率派概率。概率涉及到确定性水平，称为贝叶斯概率。期望：对随机变量的值求平均。方差：衡量的是当我们对xxx依据它的概率分布进行采样时，随机变量xxx的函数会呈现多大的差异。当方差很小时，f...

2018-09-25 08:48:22 271

原创 AI圣经-深度学习-读书笔记（二）-线性代数

线性代数线性代数主要是面向连续数学。标量：一个标量就是一个单独的数。向量：一个向量就是一列数。我们可以把向量看成空间中的点，每个元素是不同坐标轴上的坐标。矩阵：矩阵是一个二维数组，其中每个元素由两个索引所确定。张量：一个数组中的元素分布在若干维坐标中的规则网络。元素对应相乘：A⋅BA · BA⋅B点积：C=ABC=ABC=AB，矩阵乘法范数：衡量你一个向量的大小。范数是向量映射到非...

2018-09-25 08:39:34 378

原创 AI圣经-深度学习-读书笔记（一）-引言

引言机器学习：AI系统需要具备自己***获取自己获取知识的能力***，即从原始数据中提取模式的能力。许多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这几个特征提供给简单的机器学习算法。表示学习：使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。深度学习：通过其他较简单的表示来表达复杂表示，解决表示学习中的核心问题。传统的机器学习是人工提取特征，深度学习是源于并高...

2018-09-17 22:02:16 495

原创 AI圣经-深度学习-读书笔记（八）-深度模型中的优化

这一样整理的内容非常少，以后会补上的。由于水平有限，实在看不懂。目前只是《深度学习》的第一版笔记，以后会以专栏的形式从新整理，不再是简单的摘录，更多的加上自己的思考。深度模型中的优化0 简介深度学习算法在很多情况下都涉及优化。本章主要关注一类特定的优化问题：寻找神经网络上的一组参数θθ\theta ，它能显著地降低代价函数J(θ)J(θ)J(\theta)，该代价函数通常包...

2018-09-17 09:11:31 342

原创 cs231n-学习笔记-06训练神经网络

训练神经网络小批随机梯度下降① 取一批样本数据② 通过网络进行前向传播，得到损失函数③ 方向传播计算梯度④ 使用梯度更新参数概览本章内容： ① 初始化设置激活函数、数据预处理、权重初始哈、正则化、梯度检查 ② 动态训练监控学习率、参数更新、超参数优化 ③ 评估整体模型评估第一部分 ① 激活函数...

2018-09-15 18:44:30 252

原创 cs231n-学习笔记-05卷积神经网络

卷积神经网络1 简介全连接网络层32x32x3的图像->伸展成3072x1输入x (3072,1) 计算Wx (10,3072) x (3072,1) = (10,1)输出y (10,1)卷积网络层卷积核的深度总是和输出体的深度相同。卷积网络由一些卷积层组成，中间穿插激活函数。一个卷积核->一个激活层步长一定要匹...

2018-09-14 21:37:10 427

原创 AI圣经-深度学习-读书笔记（七）-深度学习中的正则化

深度学习中的正则化0 简介机器学习中的一个核心问题是设计不仅在训练数据上表现好，而且能在新输入上泛化好的算法。采用显式减少测试误差（可能会增加训练误差）的策略称为正则化。在深度学习的背景下，大多数正则化策略都会对估计进行正则化（以偏差的增加换取方差的减小），我们的实现一个好的情境就是显著减少方差而不过度增加偏差。模型族训练的三种情况：①不管真实数据的生成过程—-欠拟合，高偏差；...

2018-09-13 20:42:06 1186

原创 cs231n-学习笔记-04神经网络

神经网络1 简介之前，线性评分函数：f=Wxf=Wxf=Wx现在，二层神经网络：f=W2max(0,W1x)f=W2max(0,W1x)f=W_{2}max(0, W_{1}x)或者三层神经网路：f=W3max(0,W2max(0,W1x))f=W3max(0,W2max(0,W1x))f=W_{3}max(0,W_{2}max(0,W_{1}x))实现训练一个2层的神经网...

2018-09-12 17:27:19 134

原创 cs231n-学习笔记-03反向传播

反向传播0 简介反向传播是利用链式法则递归计算表达式的梯度的方法，理解反向传播对于理解、实现、设计和调试神经网络非常关键。我们需要解决的核心问题就是，给定函数f(x)f(x)f(x),其中xxx是输入数据的向量，需要计算函数fff关于xxx的梯度，也就是▽f(x)▽f(x)\bigtriangledown f(x)。xixix_{i}的梯度有时是有用的，比如将神经网络所做的事情...

2018-09-11 15:04:29 209

原创 cs231n-学习笔记-02线性分类(续)

关于多分类SVM和Softmax代码实现本文根据cs231n作业1整理而来。本次作业可以学到： ① 实现一个全向量化的softmax分类器损失函数 ② 实现全向量化的分析梯度表达式 ③ 用数字梯度进行梯度检查 ④ 使用验证集调整学习率和正则化系数 ⑤ 使用随机梯度下降的算法优化损失函数 ⑥ 可视化最终习得的权重 ...

2018-09-10 21:57:20 170

原创 cs231n-学习笔记-02线性分类

线性分类0 介绍线性分类可以自然的延伸到神经网络和卷积神经网络上。这种方法主要由两部分组成， ①评分函数（score function） ②损失函数（loss function）评分函数是原始图像数据到类别分值的映射。损失函数是用来量化预测分类标签的得分与真实标签之间的一致性的。线性分类可以转化为一个最优化问题，在最优化的过程中，将通过更新评分函数的参数来最小化...

2018-09-10 18:46:58 258

原创 cs231n-学习笔记-01图像分类(续)

关于K近邻详解与代码实现本文根据李航《统计学习方法》第三章和cs231n作业1 整理而来。0 简介K近邻法（KNN）是一种基本分类与回归方法。K近邻法的三个基本要素： ①K值得选择 ②距离度量 ③分类决策规则K近邻算法没有显示的学习过程1 抽象表达输入：T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)}T={(...

2018-09-09 16:42:22 198

原创 cs231n-学习笔记-01图像分类

图像分类介绍图像分类是计算机视觉中一个核心的任务。问题现实图像与计算机识别之间的语义鸿沟？一幅图像仅仅是一堆介于0-255之间数组成的表。**图像是一个由数字组成的巨大的3维数组。0表示全黑，255表示全白。挑战①视角变化，图像发生细微的变化，所有的像素点就会与之对应发生改变②图像的曝光度，③图像的变形，④图像的遮挡物，⑤图像背景的干扰，...

2018-09-09 16:40:49 244

原创 AI圣经-深度学习-读书笔记（六）-深度前馈网络

深度前馈网络（DFN）0 简介（1）DFN:深度前馈网络，或前馈神经网络（FFN），或多层感知机（MLP）（2）目标近似某个函数 f∗f∗f^{*}。例如，定义一个映射y=f(x;θ)y=f(x;θ)y=f(x;θ)，并且学习θθθ的值，使它能够得到最佳的函数近似。（3）神经网络直观理解：为了实现统计泛化（测试）而设计出的函数近似机。从xxx到yyy的确定性映射并且没有...

2018-09-06 16:41:25 851

cheertt的博客