w_Claire_w-CSDN博客

原创 Raft论文阅读笔记

最近在写MIT 6.824的Lab2，Raft的主题算法在论文中的Figure 2有很具体的描述，但一些细节和对整个算法intuition的理解还是要看文字部分内容，这里整理一下我阅读时的笔记。Paxos简述Raft主要是针对Paxos提出的改进，所以这里先对Paxos进行简述角色：提议者，接收者，学习者准备阶段：提议者提出编号为n的准备请求Prepare(n)，接收者接收到请求后如果n大于之前自己处理过的编号，则承诺不再接受小于n的提案，并回复提议者自己以处理过的最高编号提案阶段。

2024-09-05 20:36:52 1485

原创 11-685/785 Introduction to Deep Learning学习笔记 | Training tricks

直观理解：所有神经元都开放时，每个神经元可能只需要关注到输入的一小部分特征就可以使loss比较小，但这样就可能使训练出的模型泛化能力较低。Dropout一部分神经元后，留下的每个神经元需要关注更多特征，学习出的网络泛化效果更好。训练迭代次数过多可能反而导致模型过拟合（标志：training loss仍在降低但validation/test loss开始升高）问题：每组训练数据的分布可能不同 --> 影响收敛速度；对数据进行旋转、拉伸、添加噪声等生成新的数据训练模型，提升模型泛化能力。将数据移动到中心位置。

2024-05-15 11:30:40 1217

原创 11-685/785 Introduction to Deep Learning学习笔记 | Optimization: learning rate & derivative

W←W−η∇WLWη和∇WLW。

2024-05-13 11:43:05 1606

空空如也

AttributeError: '……' object has no attribute '……'

2022-11-29

TA创建的收藏夹 TA关注的收藏夹

TA关注的人