W11H08Z-CSDN博客

原创 LSTM、GRU及其各种RNN架构

LSTM、GRU及其各种RNN架构本文是笔者《动手学深度学习》的学习笔记，如有谬误，请随时指出。疑问在介绍这部分之前，笔者存在以下疑问，如果有dalao能解答，我将十分感谢！GRU为什么不用下面这种方式更新状态？Ht=Zt⊙Ht−1+(1−Zt)⊙[tanh⁡(XtWxh+bh)]\mathbf{H}_t = \mathbf{Z_t}\odot\mathbf{H}_{t-1}+(1-\mathbf{Z}_t)\odot[\tanh(\mathbf{X}_t\mathbf{W}_{xh}+

2024-04-27 20:39:16 683

原创 RNN及其梯度分析

RNN及其梯度分析本文是笔者《动手学深度学习》的学习笔记，如有谬误，请随时指出。语言模型对于一个基于历史数据来预测未来数据的任务，一定存在一个前提假设：序列本身的规律是不变的。这是因为，如果规律变化，那么规律一定受到新的数据影响，并且我们不能基于目前的数据来找到新的规律，此时基于历史数据来预测未来数据没有意义。因此，只要我们希望基于历史数据预测未来数据，一定存在序列规律不变这一假设。假设存在一个文本序列x1,…,xTx_1, \ldots, x_Tx1,…,xT，其中xtx_txt代表在时

2024-04-27 10:34:22 728

原创【集成学习】：RF、AdaBoost、GBDT

集成学习本文是笔者西瓜书第八章的学习笔记，如有谬误，请随时指出。Bagging在集成学习中，如果我们希望得到泛化性能较强的集成，那么应该尽可能的保证基学习器之间“好而不同”。因此可以使用自助采样法采样，使得每个基学习器有差异（满足“不同”），同时又能保证每个基学习器不会太差（满足“好”）。自助采样法具体来说就是，给定包含mmm个样本的数据集，我们从中进行mmm次有放回的采样，得到一个含有mmm个样本的数据集。Bagging具体来说就是，采样出TTT个包含mmm个训练样本的采样集，然后基于每个采

2024-01-22 14:25:29 847

原创【支持向量机】：SVM

支持向量机本文是笔者西瓜书第六章的学习笔记，如有谬误，请随时指出。间隔与支持向量考虑一个二分类问题，其训练样本集为D={(xi,yi)}i=1mD = \{(\mathbf{x_i}, y_i)\}_{i=1}^mD={(xi,yi)}i=1m，其中yi∈{−1,+1}y_i\in\{-1, +1\}yi∈{−1,+1}，最直观的想法就是找到一个超平面w⊤x+b=0\mathbf{w}^\top\mathbf{x}+b=0w⊤x+b=0使得不同类的训练样本分别位于超平面两侧，即{

2023-11-18 12:00:50 90 3

原创【模型评估与选择】

本文是笔者西瓜书第二章的学习笔记，如有谬误，请随时指出。

2023-11-09 16:23:44 34 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 LSTM、GRU及其各种RNN架构

原创 RNN及其梯度分析

原创 【集成学习】：RF、AdaBoost、GBDT

原创 【支持向量机】：SVM

原创 【模型评估与选择】

空空如也

空空如也

原创【集成学习】：RF、AdaBoost、GBDT

原创【支持向量机】：SVM

原创【模型评估与选择】