- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 【深度学习】Batch Normalization
本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，是一篇很好的paper。1-Motivation作者认为：网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化
2017-10-31 09:32:18
296
转载 【机器学习】Xgboost原理
Xgboost Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。下面所有的内容来自原始paper，包括公式。 (1). xgboost在目标函数中显示的加上了正则化项，基学习为CART时，正则化项与树的叶子节点的数量T和叶子节点的值有关。 (2). GB中使用Loss Fu
2017-10-30 14:55:44
479
原创 【强化学习】AlphaGo Zero详解
1 简介AlphaGo Zero（以下简称Zero）的过程如下图a、b所示，在每个状态s，通过MCTS搜索，获得每个可能move的概率p，其中MCTS搜索采用self-play并执行fθ策略。fθ主要采用微软的ResNet，即基于残差的学习。利用MCTS获得每个可能move的概率p之后，更新fθ权重。最后利用这个fθ评估最后能赢这盘棋的概率v。2 MCTS每个节点s（状态），包含若
2017-10-30 10:57:40
4883
原创 【机器学习】multi-label 分类
multi-label 分类多标记学习框架中,每个样本可能同时隶属于多个类别标记.因此,与单标记学习系统相比,多标记学习系统的评价准则要更加复杂些.到目前为止,已提出了许多多标记学习系统的性能评价准则. 假设测试集,并根据预测函数fl(x),定义一个排序函数rankf(x,l)Î{1,…,L},如果fl(x)>fk(x),则rankf(x,l)rankf(x,k). 本文选取了5种常用的评
2017-10-27 09:21:56
2775
转载 【深度学习】Attention Model详解
|Encoder-Decoder框架本文只谈谈文本处理领域的AM模型，在图片处理或者（图片-图片标题）生成等任务中也有很多场景会应用AM模型，但是我们此处只谈文本领域的AM模型，其实图片领域AM的机制也是相同的。要提文本处理领域的AM模型，就不得不先谈Encoder-Decoder框架，因为目前绝大多数文献中出现的AM模型是附着在Encoder-
2017-10-21 10:40:45
445
原创 TCP三次握手和四次挥手
TCP连接的建立和释放：三次握手和四次挥手 三次握手过程：第一次， 假如主机A为客户进程，B为服务进程.两者都处于关闭状态（CLOSED). 首先主机B会主动创建TCB(传输控制块)，进入监听状态（LISTEN）.主机A要连接时，会创建TCB(传输控制块)，并向主机B发送建立连接请求，在报文的首部同部位SYN置1，选择一个初始的序号x，然后主机A
2017-10-18 07:40:41
293
原创 【机器学习】MAP最大后验估计和ML最大似然估计区别
MAP：maximun a posteriori 最大后验估计ML：maximun likelihood.1 MAPA maximum a posteriori probability (MAP) estimate is an estimate of an unknown quantity, that equals the mode of the posterior d
2017-10-16 21:50:38
5659
原创 【概率论】泊松分布（Poisson distribution）
【概率论】泊松分布（Poisson distribution）Poisson distribution is a discrete probability distribution that expresses the probability of a given number of events occurring in a fixed interval of time
2017-10-12 15:44:57
2773
原创 矩阵的各种乘积
操作数学符号举例说明点积(dot product)，也称内积(inner product)，标量积（scalar product）A.B 1.向量点积。变成一个数。2.矩阵点积。矩阵的点积是每行每列的点积的矩阵。外积(outer product)
2017-10-11 15:14:30
42263
1
转载 最优化理论与KKT条件
1. 最优化理论(Optimization Theory)最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最优化问题具有如下的基本形式:min.:f(x)其中. f(x)为目标函数, gi(x)≤0,i=1,2,…,p 为不等式约束条件, hj(x)=0,k=1,2,…,q为
2017-10-09 14:57:39
835
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人