机器学习
文章平均质量分 90
zzllg
这个作者很懒,什么都没留下…
展开
-
【机器学习】focalloss原理以及pytorch实现
最近在做一个分类项目,发现很多“难样本”比较不好处理又特别重要,想试试FocalLoss。没找到pytorch相关实现,本来想研究pytorch的cross_entropy源码,稍微改一下(怕手残自己写的loss效率比较低),但是发现有点复杂,我的任务比较简单,改那玩意有点累。我们知道,对于二分类:cross_entropy(y,y^)=−ylogy^−(1−y)log1−y^cross\_...原创 2020-04-19 21:55:17 · 1464 阅读 · 8 评论 -
【机器学习】关于pytorch中的分类损失函数cross_entropy使用log_softmax
最近在做一个分类项目,发现很多“难样本”比较不好处理,想试试FocalLoss。没找到pytorch相关实现,就研究起cross_entropy源码,想手动改一下。def cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, re...原创 2020-04-18 17:11:47 · 630 阅读 · 0 评论 -
【机器学习】pytorch中Dataloader的坑
基于pytorch训练一个模型,数据集size大概七十万训练起来很慢疯狂找原因,后来经过一行行调试,发现是遍历Dataloader时太慢了正在寻找解决办法。。(待更新2020.1.5)...原创 2020-01-05 05:43:28 · 5059 阅读 · 2 评论 -
【机器学习】logistic回归公式推导及python代码实现
代价函数得来首先确定:hθ(x)=g(θTx)=11+e−θTxh_{\theta}(x)=g\left(\theta^{T} x\right)=\frac{1}{1+e^{-\theta^{T} x}}hθ(x)=g(θTx)=1+e−θTx1函数hθ(x)h_{\theta}(x)hθ(x)即logistic回归的公式。为了得到一个凸函数,logistic回归似然函数:L(...原创 2019-07-23 10:02:39 · 495 阅读 · 0 评论 -
softmax函数及交叉熵损失函数求导
1.softmax函数使用softmax函数主要是为了解决多分类问题,在一个分类神经网络中,该函数能够将多个神经元的输出转换到(0,1)之间,可以当概率来理解,这样就可以取其中最大值当做被分到哪一类。假设一组神经元的输出为a[n]a[n]a[n],那么pip_ipi就可以表示为:pi=eai∑j=1neajp_{i}=\frac{e^{a_i}}{\sum_{j=1}^{n} e^{a_j...原创 2019-08-25 05:41:20 · 404 阅读 · 0 评论