- 博客(5)
- 收藏
- 关注
RSS订阅原创 逻辑回归笔记
逻辑回归逻辑回归属于一个二分类器sigmoid函数 s=σ(ωTx+b)\sigma(\omega ^T x+b)σ(ωTx+b)=σ(ω1x1+ω2x2+ω3x3...ωnxn+b)\sigma(\omega 1x1+\omega 2x2+\omega 3x3...\omega nxn+b)σ(ω1x1+ω2x2+ω3x3...ωnxn+b)= σ(z)\sigma(z)σ(z) =11+e−z\frac1 {1+e^{-z}}1+e−z1如果sigmoid函数 e−ze^{-z}e
2022-05-09 20:43:48
77
原创 GRU模型
1、门控循环单元1.1 重置门和更新门Rt=sigmoid(XtWxr+Ht−1Whr+br)R_t=sigmoid(X_tW_{xr}+H_{t-1}W_{hr}+br)Rt=sigmoid(XtWxr+Ht−1Whr+br)Zt=sigmoid(XtWxz+Ht−1Whz+bz)Z_t=sigmoid(X_tW_{xz}+H_{t-1}W_{hz}+bz)Zt=sigmoid(XtWxz+Ht−1Whz+bz)1.2 候选隐藏状态Ht^=tanh(XtWxh+(Rt∗H
2021-12-29 11:38:12
1829
原创 LSTM长短期记忆网络
1、 长短期记忆LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。1.1 输入门、遗忘门和输出门It=sigmoid(XtWxi+Ht−1Whi+bi)I_t=sigmoid(X_tW_{xi}+H_{t-1}W{hi}+b_i)It=sigmoid(XtWxi+Ht−1Whi+bi)Ft=sigmoid(XtWx
2021-12-29 11:22:39
910
原创 RNN模型计算公式
RNN 定义模型ht是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01h_t是上一层传过来的隐藏层, x是特征矩阵，w为正太分布矩阵 均值为零方差为0.01ht是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01ht=Whxxt+Whhht−1h_t=W_{hx}x_t+W_{hh}h_{t-1}ht=Whxxt+Whhht−1ot=WqhHto_t=W_{qh}H_tot=WqhHt如何实现模型结构one-hot 有其他更简单
2021-12-29 09:48:35
1656
原创 线性回归数学推导
线性回归线性回归的推导线性组合模型为f(x)=w1x1+w2x2+.......wdxd+b f(x)=w_1x_1+w_2x_2+.......w_dx_d+b f(x)=w1x1+w2x2+.......wdxd+b向量形式表示f(x)=wT+bf(x)=w^T+bf(x)=wT+b基于最小均方误差来求解成为最小二乘法(w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2=argmin(w,b)∑i=1m(f(xi)−yi)2(w^*,b^*)=arg
2021-11-14 22:32:58
606
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人