- 博客(8)
- 收藏
- 关注
原创 如何改善深层神经网络
对于深度学习,模型训练过程中可能会遇到一些问题,这些问题可能出自训练阶段,也可能出自测试阶段。训练阶段的问题主要是模型可能根本就train不出来,测试阶段的问题主要是过拟合的问题。对于不同的问题,我们采用不同的方法解决,解决方法如下图所示:我们分别就训练阶段和测试阶段来看一下具体问题,及其解决方法:(1)训练阶段:如果训练阶段发现模型根本就train不出来,常见的问题就是梯度消失或梯度爆炸...
2019-05-21 13:25:46 1654
原创 机器学习算法的一般结构
1. 算法框架跟把大象放进冰箱里一样,李宏毅老师将机器学习方法总结为三步,如下:总结来说,就是如下三步:Define a set of function(Model)Goodness of function(Objective Function)Pick the best function(Gradient Descent)所有机器学习算法都满足这个架构,所以提到一种算法,我们就...
2019-05-13 17:48:02 1451
原创 SVM的梯度下降解释及其算法比较
首先说明一点,SVM的算法原理和其它机器学习算法是一致的,其中引入了两个最核心的概念就是hinge loss和kernel trick,这篇本章主要结合这两个部分说明SVM。...
2019-05-13 16:18:27 7566 1
转载 推荐系统中的常用评测指标
推荐系统中的评价指标有很多,下面来系统的总结一下,这些指标有的适用于二分类问题,有的适用于对推荐列表Topk的评价。1、精确率、召回率、F1值我们首先来看一下混淆矩阵,对于二分类问题,真实的样本标签有两类,我们学习器预测的类别有两类,那么根据二者的类别组合可以划分为四组,如下表所示:上表即为混淆矩阵,其中,行表示预测的label值,列表示真实label值。TP,FP,FN,TN分别表示如下...
2019-05-07 19:11:14 1011
原创 从后验概率到逻辑回归,从逻辑回归到神经网络
从后验概率到逻辑回归,从逻辑回归到神经网络1. 后验概率对于给定数据,我们首先假设数据是由某种分布产生的,这样,根据贝叶斯公式我们可以得到后验概率分布,将后验概率最大的类作为xxx的类输出。后验概率计算根据贝叶斯定理进行:(1)P(Y=ck∣X=x)=p(X=x∣Y=ck)P(Y=ck)∑kp(X=x∣Y=ck)P(Y=ck)P(Y=c_k|X=x) = {p(X=x|Y=c_k)P(Y=c...
2019-05-07 13:52:07 2833 1
原创 深度学习中的优化方法
深度学习中的优化方法:以下内容会包括下面几种优化方法:Gradient DescentAdagradMomentumRMSProPAdam1. Gradient Descent首先,Gradient Descent是我们最常用的优化方法,梯度下降的参数更新公式为:(1)θi=θi−1−η∇L(θi−1)\theta^i = \theta^{i-1} - \eta \nabla...
2019-05-06 13:54:07 714 1
原创 tf.nn.embedding_lookup函数的工作原理
tf.nn.embedding_lookup函数的工作原理函数定义:tf.nn.embedding_lookup( params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None)官方解释:This function is use...
2019-05-01 15:04:43 659
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人