关闭

Test

593人阅读 评论(0) 收藏 举报
分类:
[latexpage]

# DNN


给定输入input


* FeedForward


  Let a_0 = input vector   


  For i in 1, 2 ... layers:      
$$z_i = W_i * a_{i-1} + b_i$$$$a_i = f(z_i)$$


通常 $f$ 是 $Sigmoid$ 或 $ReLU$ 函数   
$$Sigmoid(z) = \frac{1}{1 + exp[-z]}$$
$$ReLU(z) = z > 0 ? z : 0$$
  
分类任务输出层通常为 $$Softmax(z_i) = \frac{exp[z_i - z_{max}]}{\sum exp[z_j - z_{max}]}$$,代表input属于各个类的概率。


绝大部分的运算在 $$Wa+b$$ 上,如果一次仅有一个输入,则 $$x / a$$ 的内容为向量, 若一次输入多个(图像batch处理, 语音多帧音频特征),$$x/a$$ 的内容为矩阵。


故在给定 DNN 模型参数的情况下,计算的核心是矩阵运算,*矩阵\*矩阵* 或 *矩阵\*向量*,本文重点介绍 *矩阵\*向量* 的优化。
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:369911次
    • 积分:3987
    • 等级:
    • 排名:第8157名
    • 原创:59篇
    • 转载:8篇
    • 译文:0篇
    • 评论:165条
    最新评论