PyTorch深度学习笔记

1. 反向传播:

正向传播是z=x1*w1+x2*w2+b,然后通过激活函数表示成一个想要的曲线(比如要表示它的概率,则一般希望是在0-1区间内,使用sigmond函数)

反向传播是指,你的w1,w2和b是随机生成的,需要对它进行调整,使用某些统计学公式计算预测值和实际值的差Loss后,对w1,w2,b进行调整,这就是反向传播,调节大小例如是α*梯度下降函数,例如Adagrad,Adam,Adamax,ASGD,LBFGS,RMSprop,Rprop,SGD等.

2. Epoch,Batch-Size,Iterations,shuffle

Epoch:完成了一次前馈和反馈,所有样本参与了一次训练.

Batch-Size:一次前馈和反馈的样本数量集.

Iterations:内层迭代执行多少次.

例:目前1w个样本,batch-size为1000个,iterations为10(训练10次才能把所有样本过一遍)

shuffle:打乱数据集顺序,随机性.