2017年05月_于建民

12月 10月 08月 06月 05月 04月

原创 FTRL两个Regret上限的证明 part-2

前言　　证明的路径：　　为了求证Regret上限，先证明了两个引理，再利用凸函数间的性质定理，对两个引理做放缩推导，得证Regret的上限。　　1) General FTRL Bound 　　2）FTRL-Proximal Bound

2017-05-27 14:42:56 1688 2

原创 FTRL的基础知识准备 part-1

前言　　最近看了下在线学习FTRL的相关东东，对其背后的理论知识梳理下。　　假设loss 函数为 f(x)f(x)，其中ft(xt)f_t(x_t)表示第t轮数据所对应的loss。　　$xt+1=argminx∑tt=1ft(x)x_{t+1}=\underset{x} {argmin} \sum_{t=1}^t f_t(x) $　　主要求证一个问题，这个取参数的策略在什么情况有效？为什么有效？

2017-05-25 16:18:42 4168 2

原创有关熵的几个概念及最大似然和交叉熵的一致性

随机事件的信息量　　为了描述一个随机事件的信息量，定义了自信息。自信息表示不确定性减少的程度。　　一个事件确定发生，是没有信息量的；而一个事件发生的概率越小，则其信息量越大。　　未知所带来的不确定性，就是自信息要描述的目标。　　自信息：I(x)=logi1p(x) I(x)= log_i \frac{1}{p(x)} 　　notice：这里的自信息量并不代表信息作用的大小。一

2017-05-06 12:23:36 8018 5

原创 softmax 与 logistic Regression

分类模型的内在　　sample⟶F(θ)labelsample \overset{F(\theta)}{\longrightarrow} label 　　假设，其中x−>yx->y服从某种分布F(θ)F(\theta)，那么可以用训练集找到一个θ\theta解，来近似x−>yx->y的真实分布。

2017-05-03 17:01:12 1003 1

ollyday.exe

.exe 动态分析的工具，与IDA的静态分析相结合。是软件漏洞分析必不可少的工具。

2013-05-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人