- 博客(3)
- 收藏
- 关注
RSS订阅原创 python中的type及metaclass(元类)详解
的角度上看：当我们使用class关键字定义Person类的时候，实际上是调用了type类的构造函数，实例化了一个type类的实例，并将该实例赋值给了Person。而这种好似高于用class定义的类的类，也就叫做metaclass(元类)，type就是python自带的metaclass。既然python解释器可以自动创建type的实例，那我们是不是可以手动创建type的实例作为class的定义呢？的作用是用来创建class的实例的，因此其参数列表严格来说应该是。创建类实例都需要调用的方法。
2023-04-11 08:40:06
327
1
原创 从似然到交叉熵：极大似然、对数似然、负对数似然、Pytorch
此篇我们将从似然的定义出发，逐步推导出负对数似然，再与交叉熵对比。全篇说人话。同时会介绍pytorch的部分API。
2023-03-28 16:30:46
719
原创 对梯度下降法的优化：随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、adam的理解
在（1）式中，我们其实求的是样本的交叉熵的期望，期望往往是反映总体的某个attribution，与样本是无关的，取一个样本求期望也能得到这个attribution,取N个样本求期望也能得到，二者之间的区别不过是精度。显而易见，GD需要对样本的所有数据进行求和，在深度学习中数据总量是很大的，并且每个样本的维度也是极大的，何况我们不止进行一次优化，往往需要多次优化而逼近最优化，这样的计算在实践上是无法进行的。如果加入β，在步数很多的时候，前面的所有历史数据都会被加入，这样明显是不合适的。
2023-03-25 18:35:45
654
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人