pyxiea

推荐阅读：[1] 深度学习中的batch的大小对学习效果有何影响？ - 言有三的回答 - 知乎[2] 深度学习中的batch的大小对学习效果有何影响？ - 程引的回答 - 知乎[3] batch size 越大，学习率也要越大小结：优点缺点batch_size 较大训练时间减少，收敛更加稳定每个epoch更新次数变小，模型达到相同的精度需要的epoch数量batch_size 较小给梯度下降过程带来更大的随机性，有助于逃离 sharp minimum，使得模型收敛

推荐学习资料：[1] 从 SGD 到 Adam —— 深度学习优化算法概览(一)[2] 深度学习——优化器算法Optimizer详解[3] 一个框架看懂优化算法之异同 SGD/AdaGrad/Adam这里仅记录公式，方便对比记忆，而不解释由来，其他细节可以看上面说的资料。设：参数向量为 θ\thetaθ学习率为 η\etaη用于数值稳定的接近0的常数 ϵ\epsilonϵ用于计...

class weight：对训练集里的每个类别加一个权重。如果该类别的样本数多，那么它的权重就低，反之则权重就高.sample weight：对每个样本加权重，思路和类别权重类似，即样本数多的类别样本权重低，反之样本权重高[1]^{[1]}[1]。PS：sklearn中绝大多数分类算法都有class weight和 sample weight可以使用。PytorchTensorf...