xiashilin的博客

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。11.理解One Hot Encodeing原理及作用？问题由来在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。例如，考虑以下的三个特征：["male","female"]["from Europe","from US","from Asia"]["use Firefox","uses Chrome","uses Safari","uses Internet Explorer"]如

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。10.Batch_Size1.为什么需要Batch_Size？Batch的选择，首先决定的是下降的方向。如果数据集比较小，可采用全数据集的形式，好处是：（1）由全数据集确定的方向能够更好地代表样本的总体，从而更准确地朝向极值所在的方向。（2）由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。Full Batch Learning 可以使用Rprop只基于梯度符号并且针对性单独更新各权值。

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。9.为什么归一化能提高求解最优解速度？如下图所示，两张图代表数据是否均一化的最优解寻解过程（圆圈可以理解为等高线）。左图表示未经归一化操作的寻解过程，右图表示经过归一化后的寻解过程。当使用梯度下降法寻求最优解时，很有可能走“之字形”路线（垂直等高线走），从而导致需要迭代很多次才能收敛；而右图对两个原始特...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。8.如何解决过拟合与欠拟合？如何解决欠拟合：1）添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段，有时候特征项不够会导致模型欠拟合。2）添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强。例如，FM模型、FFM模型，...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。7.图解欠拟合、过拟合？根据不同的坐标方式，欠拟合与过拟合图解不同。1）横轴为训练样本数量，纵轴为误差如上图所示，可以直观看出欠拟合和过拟合的区别：模型欠拟合：在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；模型过拟合：在训练集上具有较低的误差，在测试集上具有较高的误...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。6.梯度下降？①梯度下降是迭代法的一种，可以用于求解最小二乘问题；②在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降（Gradient Descent）和最小二乘法。③在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值；④如果需要求解...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。5.大数据与深度学习的关系？大数据通常被定义为“超出常用软件工具捕获，管理和处理能力”的数据集。机器学习关心的问题是如何构建计算机程序使用经验自动改进。数据挖掘是从数据中提取模式的特定算法的应用。在数据挖掘中，重点在于算法的应用，而不是算法本身。（就我理解而言，数据挖掘就是找出大规模数据的潜在关...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。4.监督学习有哪些步骤？监督式学习：监督学习是使用已知正确答案的示例来训练网络。每组训练数据有一个明确的标识或结果，想象一下，我们可以训练一个网络，让其从照片库中（其中包含气球的照片）识别出气球的照片。以下就是在这个假设场景中所要采取的步骤。步骤1：数据集的创建和分类首先，浏览你的照片（数据集）...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。3.监督学习、非监督学习、半监督学习、弱监督学习？根据数据类型的不同，对一个问题的建模有不同的方式。根据不同的学习方式和输入数据，机器学习主要分为以下四种学习方式。监督学习： ①监督学习是使用已知正确答案的示例来训练网络。已知数据和其一一对应的标签，训练一个智能算法，将输入数据映射到标签的过程；...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。2.机器学习为什么要使用概率？事件的概率是衡量该时间发生的可能性的量度。虽然在一次随机试验中某个事件的发生是带有偶然性的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。机器学习除了处理不确定量，也需处理随机量。不确定性和随机性可能来自多个方面，使用概率论来量化不确定性。概率论在机...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。1.张量与矩阵的区别？①从代数角度讲，矩阵它是向量的推广。向量可以看成一维的“表格”（即分量按照顺序排成一排），矩阵是二维的“表格”（即分量按照纵横位置排列），那么n阶张量就是所谓的n维的“表格”。张量的严格定义是利用线性映射来描述的。②从几何角度讲，矩阵是一个真正的几何量，也就是说，它是一个不随参照系...