![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 75
nothing
遨游的菜鸡
这个作者很懒,什么都没留下…
展开
-
focal loss
文章目录1.综述2.理解3.公式3.1 二分类的focal loss公式3.2 多分类下的focal loss公式3.3 二分类到多分类(含代码,代码是根据4.1.1、4.2.1、4.2.3 演变的)3.3.1 二分类3.3.2 多分类4.代码4.1 二分类4.1.1 实现代码14.1.2 实现代码24.2 多分类4.2.1 版本14.2.2 版本1的另一种写法4.2.3 版本24.3 alpha值的确定4.3.1 根据个数确定4.3.2 根据范围确定5.参考1.综述Focal loss主要是为了解决o原创 2020-11-20 21:57:14 · 1908 阅读 · 1 评论 -
面经1-小米-所有考点都在统计学习书中
1.K近邻算法(KNN)以某个距离度量进行衡量,选出与输入x最近的k个点,然后对k个点进行多数投票,决定输入x的类别,本质上这是一种分类算法, 其关键要素有3个:k值的选择、距离度量以及分类决策的规则(多数投票法)2.朴素贝叶斯(naive bayes)朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法https://baike.baidu.com/item/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF/4925905?fr=aladdin3.L原创 2021-09-11 18:37:06 · 201 阅读 · 0 评论 -
文本相似度
文本相似度计算复盘参考文献数据集及其评价指标介绍:https://blog.csdn.net/xixiaoyaoww/article/details/105460175模型评价指标:https://blog.csdn.net/u010420283/article/details/104994800ROC曲线和AUC面积理解:https://blog.csdn.net/program_developer/article/details/79946787语义相似度计算的各种指标:https://www原创 2021-08-12 19:41:06 · 262 阅读 · 0 评论 -
正则化(岭回归、lasso回归)、归一化、标准化、离散化、白化、权重、学习率
文章目录正则化、归一化、标准化、离散化、白化1.介绍2.L1、L2正则化2.1 为什么参数稀疏一定程度上会避免过拟合?(L1)2.2 为什么参数越小代表模型越可避免过拟合?(L2)2.3 L1使参数稀疏、L2使参数小的原因?3 权重衰减与L2的区别3.1 首先看下权重衰减是什么?3.2 然后L2为什么可以实现权重衰减?4. 学习率衰减5. 权重衰减和学习率衰减考虑正则化、归一化、标准化、离散化、白化https://www.bilibili.com/read/cv107129911.介绍正则化的本质可原创 2021-08-10 20:15:14 · 748 阅读 · 0 评论 -
embedding发展史
文章目录1.文本多类分类2.embedding2.1 离散型2.1.1 one-hot2.1.2 词袋2.1.3 TF-IDF2.1.4 n-gram2.2 分布型2.2.1 共现矩阵1.文本多类分类2.embedding2.1 离散型2.1.1 one-hot2.1.2 词袋2.1.3 TF-IDF2.1.4 n-gramn-gram介绍:https://zhuanlan.zhihu.com/p/32829048https://www.jianshu.com/p/c13b9原创 2021-08-10 08:49:50 · 656 阅读 · 0 评论 -
熵值~~~~
文章目录1.信息熵2.交叉熵3.相对熵1.信息熵在信息论中,熵(Entropy)是接收的每条消息中包含的信息的平均量。被称为信息熵、信源熵、平均自信息量。 这里,“消息”代表来自分布或数据流中的事件、样本或特征。(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大)。若一个离散随机变量X的可能取值为X={x1,x2,⋯,xn},而对应的概率为pi=p(X=xi),则随机变量X的熵定义为:H(X)=−∑i=1np(xi)logp(xi)H(X)=-\sum_{i=1}^{n} p原创 2021-08-10 08:39:13 · 219 阅读 · 0 评论 -
知识蒸馏 & label smooth
文章目录1.Knowledge distillation1.1概念1.2知识蒸馏原理为什么有用?1.3知识蒸馏的温度参数?1.4知识蒸馏的种类?1.5知识蒸馏的作用?1.6 知识蒸馏方法1.7online/自监督蒸馏2.label smooth2.1介绍2.2 label smooth + Knowledge distillation2.2.1论文贡献:2.2.2 Label smooth何时有用2.2.3 知识蒸馏与label smooth结合1.Knowledge distillation1.1概念原创 2021-08-10 08:32:14 · 406 阅读 · 0 评论