IT_Gao_S的博客

1、 长短期记忆LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。1.1 输入门、遗忘门和输出门It=sigmoid(XtWxi+Ht−1Whi+bi)I_t=sigmoid(X_tW_{xi}+H_{t-1}W{hi}+b_i)It​=sigmoid(Xt​Wxi​+Ht−1​Whi+bi​)Ft=sigmoid(XtWx

RNN 定义模型ht是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01h_t是上一层传过来的隐藏层, x是特征矩阵，w为正太分布矩阵 均值为零方差为0.01ht​是上一层传过来的隐藏层,x是特征矩阵，w为正太分布矩阵均值为零方差为0.01ht=Whxxt+Whhht−1h_t=W_{hx}x_t+W_{hh}h_{t-1}ht​=Whx​xt​+Whh​ht−1​ot=WqhHto_t=W_{qh}H_tot​=Wqh​Ht​如何实现模型结构one-hot 有其他更简单

线性回归线性回归的推导线性组合模型为f(x)=w1x1+w2x2+.......wdxd+b f(x)=w_1x_1+w_2x_2+.......w_dx_d+b f(x)=w1​x1​+w2​x2​+.......wd​xd​+b向量形式表示f(x)=wT+bf(x)=w^T+bf(x)=wT+b基于最小均方误差来求解成为最小二乘法(w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2=argmin(w,b)∑i=1m(f(xi)−yi)2(w^*,b^*)=arg