- 博客(15)
- 收藏
- 关注
RSS订阅转载 常用损失函数
自己随便乱粘的，自用1、logloss对数损失函数对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出. 对数损...
2019-03-31 17:09:16
4095
原创 深度学习：深度模型中的优化
机器学习中的优化1、经验风险最小化机器学习算法的目标是降低目标函数的期望泛化误差，这个数据被称为风险将机器学习问题转化为一个优化问题的最简单方法是最小化训练集上的期望损失。这意味着用训练集上的经验分布替代真实分布。现在，我们将最小化经验风险：m表示训练样本的数目基于最小化这种平均训练误差的训练过程被称为经验风险最小化（容易导致过拟合）2、代理损失函数和提前终...
2019-03-13 17:15:06
2787
原创 深度学习中的正则化
在机器学习中，许多策略被显式地设计来减少训练误差（可能也会以增大训练误差为代价）。这些策略被统称为正则化。现在我们回顾几种策略，以创建这些正则化地大型深度模型。1、参数范数惩罚通过添加参数范数惩罚，限制模型的学习能力其中是权衡惩罚项和标准目标函数相对贡献的超参数。我们通常只对权重做惩罚而不对偏置做正则惩罚参数正则化通常又被称为权重衰减。在其他学术圈，也被称为...
2019-03-11 16:35:48
606
转载 优化器算法
深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学...
2019-03-09 15:49:12
320
转载 krylov方法
Krylov方法是一种 “降维打击” 手段，有利有弊。其特点一是牺牲了精度换取了速度，二是在没有办法求解大型稀疏矩阵时，他给出了一种办法，虽然不精确。假设你有一个线性方程组：Ax=b其中A是已知矩阵，b是已知向量，x是需要求解的未知向量。当你有这么个问题需要解决时，一般的思路是直接求A的逆矩阵，然后x就出来了：x=A^{-1}b但是，如果A的维度很高，比方说1000*1000的矩...
2019-03-08 14:59:03
2311
转载 maxout算法
二、Maxout算法流程1、算法概述开始前我们先讲解什么叫maxout networks，等我们明白了什么叫maxout 网络后，再对maxout的相理论意义做出解释。Maxout是深度学习网络中的一层网络，就像池化层、卷积层一样等，我们可以把maxout 看成是网络的激活函数层，这个后面再讲解，本部分我们要先知道什么是maxout。我们假设网络某一层的输入特征向量为：X=（x1,x2,…...
2019-03-06 15:10:30
1181
原创 统计学习方法总结
感知机：适用问题：二类分类 模型特点：分离超平面 模型类型：判别模型 学习策略：极小化误分类点到超平面距离 学习的损失函数：误分类点到超平面的距离 学习算法：随机梯度下降模型函数：k近邻法：适用问题：多类分类 回归 模型特点：特征空间，样本点 模型类型：判别模型朴素贝叶斯法：适用问题：多类分类 模型特点：特征与类别的联合概率分布，条件独...
2019-03-04 17:41:12
435
转载 马尔可夫链
马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process） [1-2] 。适用于连续指数集的马尔可夫链被称为马尔可夫过程（Markov process），但有时也被视为马尔可夫链的子集，即连续时间马尔可夫链（C...
2019-02-28 10:59:49
22826
2
转载 凸二次规划
二次规划的一般形式可以表示为： 二次规划一般形式其中G是Hessian矩阵，τ是有限指标集，c，x和，都是R中的向量。如果Hessian矩阵是半正定的，则我们说该式是一个凸二次规划，在这种情况下该问题的困难程度类似于线性规划。如果有至少一个向量满足约束并且在可行域有下界，则凸二次规划问题就有一个全局最小值。如果是正定的，则这类二次规划为严格的凸二次规划，那么全局最小值就是唯一的。如...
2019-02-25 09:52:29
10609
转载 NP完全问题
NP就是Non-deterministic Polynomial的问题，也即是多项式复杂程度的非确定性问题。 假设P ≠ NP的图解。若P = NP则三类相同。而如果任何一个NP问题都能通过一个多项式时间算法转换为某个NP问题，那么这个NP问题就称为NP完全问题（Non-deterministic Polynomial complete problem）。NP完全问题也叫做NPC问题。 [...
2019-02-21 10:06:25
3020
转载 分类问题，标注问题和回归问题
分类问题：评估分类器性能的指标一般是分类准确率，其定义是：对于给定的测试数据集，分类器正确分类的样本数和总样本数之比，也就是损失函数是0-1损失时候，测试数据集上的准确率。对于二类分类问题常用的评价指标是精确率与召回率。通常以关注的类为正类，其他类为负类，分类器在测试数据集上的预测或正确或不正确，4种情况出现的总数分别记作：TP——将正类预测为正类数FN——将正类预测为负类数FP—...
2019-02-18 10:34:49
1512
原创 python_speech_features文档翻译
最近学习语音情感识别，需要提取语音特征，用到python_speech_features这个库，顺便把文档翻译一下，希望能帮到需要的人。英语水平不高，难免有错，敬请指正欢迎来到python_speech_features的文档！这个库提供了一般的用于ASR（语音识别）的语音特征，他包含了MFCCs（梅尔倒谱系数）和 filterbank energies（滤波器组能量？）。如果你还不知道...
2018-11-19 19:35:06
3661
2
转载 Python中的Subprocess模块
转自https://segmentfault.com/a/1190000009176351subprocess模块可以运行系统命令，允许我们创建子进程,连接他们的输入/输出/错误管道，还有获得返回值。subprocess.call()执行由参数提供的命令.我们可以用数组作为参数运行命令,也可以用字符串作为参数运行命令(通过设置参数shell=True)注意,参数shell默认为False我们用su...
2018-07-10 10:22:24
235
原创 截取一个文件夹下的所有视频的帧
就是把一个文件夹里的视频都切成图片，最大的问题是命名问题，如果能有个更一些的命名就好了，现在想要按顺序排列就只能把文件排序方式改成按时间，而且只能把图片存到原视频文件夹下#获取文件夹内的视频名def file_name(file_dir): for root, dirs, files in os.walk(file_dir): return filesfiles ...
2018-06-05 11:23:22
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人