![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 74
Turned_MZ
用AI让生活更美好
展开
-
归纳偏置/归纳偏差/inductive bias
归纳偏置/归纳偏差/inductive bias“归纳偏差”中的“偏差”容易让人想到数据估计中估计值与真实值的差别error,会让人认为“归纳偏差”是某种需要被规避的错误、误差,但事实并非如此,inductive bias在机器学习中起到的是积极作用。更合适的翻译应该是“归纳偏置”:归纳是自然科学中常用的两大方法(归纳与演绎,induction and deduction)之一,指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;而“bias”“偏置”是指我们对模型的偏好。因此归纳偏置可转载 2022-04-19 21:11:23 · 418 阅读 · 0 评论 -
深度学习知识点整理 —— batch normalization (批归一化) 与 l2正则化
深度学习知识点整理 —— batch normalization (批归一化) 与 l2正则化batch normalization1. 为什么要有batch normalization?为什么要做归一化,正常深度学习的学习过程,就是通过学习训练数据的分布,来对测试数据进行预测,所以如果训练数据的分布和预测数据不一致,则学习的速度和泛化能力都会变差。而深度神经网络中,每一层的输入都是前一层的输出,而前一层的参数是在不断变化的,所以其学习到的数据分布也是不断变化的,所以随着层数加深,后面数据学原创 2021-04-21 22:49:48 · 1729 阅读 · 0 评论 -
业务场景算法落地 - 利用预训练&伪标注&蒸馏实现一个通用的分类模型baseline
业务场景算法落地 - 利用预训练&伪标注&蒸馏实现一个通用的分类模型baseline业务背景:场景化的智能对话助手下,某场景已经通过模板配置的方式冷启动并且在线上运行了一段时间(即通过线上日志可以收集到一些query),但是由于模板配置过泛导致该场景下误召回的话术过多,因此考虑增加一个分类模型来区分query是否属于该业务场景。方案设计:方案设计如上图,主要包含5部分:1. 基于领域数据微调原生bert(领域数据来源于业务场景)...原创 2021-04-09 22:08:34 · 421 阅读 · 0 评论 -
机器学习常见损失函数
机器学习常见损失函数损失函数作用:损失函数是用于衡量模型预测值与真实值之间差距的函数,损失函数的值越小越好。常见的损失函数有如下几种:分类问题0-1损失函数(Zero-one Loss):当且仅当预测为真的时候取值为1,否则取值为0。可以看出该损失函数过于严格,导致其具有非凸、非光滑的特点,使得算法很难直接对该函数进行优化。感知损失函数(Perceptron Loss):感知损失函数在0-1损失函数的基础上增加一个阈值,大于阈值则为正例,小于阈值则为负例。铰链损失函数(Hinge Los原创 2020-08-16 22:42:21 · 1861 阅读 · 0 评论 -
生成模型与判别模型
生成模型与判别模型生成模型生成模型(generative model)学习的对象是输入 x 和输出 y 的联合分布 P(X,Y)即先学习所有x和y之间的联合概率分布P(X,Y),然后得到后验概率P(Y|X),此过程中,需要学习P(X),公式如下(盗图,将B=Y,A=X即可):,也就是说,需要P(x)能够较好的描述x的概率分布才可以,这就要求训练样本足够多。举个例子,当需要判断一...原创 2020-01-01 09:43:21 · 196 阅读 · 0 评论