人工智能实践
文章平均质量分 90
人工智能实践
吃果冻不吐果冻皮
坚持输入+输出学习模式,并让其变成一种习惯。
展开
-
大模型算法演进
2018年谷歌发布了BERT,便一举击败 11 个 NLP 任务的 State-of-the-art (Sota)结果,成为了 NLP 界新的里程碑,同时为模型训练和NLP领域打开了新的思路,预训练模型逐渐成为自然语言处理(NLP)领域的主流;2021年12月,谷歌推出了具有万亿权重的通用语言模型 (Generalist Language Model,GLaM),该模型的一大特点就是具有稀疏性,可以高效地进行训练和服务(在计算和资源使用方面),在多个小样本学习任务上取得有竞争力的性能。原创 2023-01-19 10:07:57 · 3031 阅读 · 1 评论 -
Arize AI 对顶级 ML 团队调查得出的 3 个结论
文本重点介绍了 Arize AI 和 MLOps 社区最近对 ML 团队的调查结果。要查看完整结果,请下载报告副本。与 DevOps 或数据工程相比,MLOps 作为一种实践仍然相对年轻,尽管增长巨大。虽然很容易将其与 DevOps 相提并论,因为它的一些最佳实践很容易延续到 MLOps,但业内大多数人都认为,在将 ML 投入生产时存在一系列独特的挑战和需求。不幸的是,很少有可靠的行业调查来记录团队在应对这些不同挑战方面的表现。为了解决这个问题,并让 MLOps 从业者从同行那里获得关于如何专业发展以及交付原创 2022-06-03 14:36:46 · 223 阅读 · 0 评论 -
Algorithmia 首席执行官 Diego 谈从研发到人工智能的投资回报率
本文 Diego 深入探讨了为什么机器学习项目会失败,以及为什么我们在生产中看不到机器学习,尽管该技术有多么强大。 同时,他也分享了有关将 ML 投入生产的问题的经验。Diego 从一个重要的观点开始。 他指出,机器学习 (ML) 并不等同于生产机器学习。在生产机器学习方面有多个因素需要考虑,而在典型的机器学习方面可能不会考虑。 我们考虑数据收集、建模和准确性,但还有其他重要变量需要考虑:基础设施、与 DevOps 工具的集成以及部署。在生产机器学习方面,集成到软件中是“最终目标”。 生产 ML 是创建最终原创 2022-06-03 14:33:41 · 194 阅读 · 0 评论 -
十分钟掌握聚类算法的评估指标
前言聚类算法属于非监督学习,它并不像分类算法那样可以使用训练集或测试集中的数据来计算准确率、召回率等。那么如何评估聚类算法得好坏呢?好的聚类算法,一般要求类簇具有:簇内 (intra-cluster) 相似度高簇间 (inter-cluster) 相似度底一般来说,评估聚类质量有两个标准,内部评估评价指标和外部评估指标。内部评估的方法内部评估指标主要基于数据集的集合结构信息从紧致性、分离性、连通性和重叠度等方面对聚类划分进行评价。即基于数据聚类自身进行评估的。轮廓系数(Silhouet原创 2021-11-13 13:43:16 · 10140 阅读 · 0 评论 -
浅析命名实体识别(NER)的三种序列标注方法
简述序列标注序列标注(Sequence Tagging)是NLP中最基础的任务,应用十分广泛,如分词、词性标注(POS tagging)、命名实体识别(Named Entity Recognition,NER)、关键词抽取、语义角色标注(Semantic Role Labeling)、槽位抽取(Slot Filling)等实质上都属于序列标注的范畴。简述命名实体识别命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包原创 2021-11-13 13:40:49 · 13216 阅读 · 4 评论 -
多标签分类场景下的模型评估指标
前言指标在机器学习或深度学习领域扮演着相当重要的角色。我们从根据问题选择指标开始,以了解特定模型的基线分数。 在本博客中,我们研究了多标签分类的最佳和最常用的指标,以及它们的不同之处。接下来,让我们深入了解什么是多标签分类,以防万一您需要它。 如果我们有关于狗的特征的数据,我们可以预测它属于哪个品种和宠物类别。在物体检测的情况下,多标签分类为我们提供了图像中所有对象的列表,如下图所示。我们可以看到,分类器检测到图像中的 3 个对象。 如果训练对象的总数为 4 个,则可以将其表示成如下列表[1 0 1原创 2021-10-21 11:18:13 · 1338 阅读 · 2 评论 -
sklearn中多标签分类场景下的常见的模型评估指标
在sklearn中,提供了多种在多标签分类场景下的模型评估方法,本文将讲述sklearn中常见的多标签分类模型评估指标。在多标签分类中我们可以将模型评估指标分为两大类,分别为不考虑样本部分正确的模型评估方法和考虑样本部分正确的模型评估方法。首先,我们提供真实数据与预测值结果示例,后续所有示例都基于该数据,import numpy as npy_true = np.array([[0, 1, 0, 1], [0, 1, 1, 0],原创 2021-10-21 11:16:39 · 1790 阅读 · 0 评论 -
浅析sklearn中的数据预处理方法
简介通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题:不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵原创 2021-08-29 21:19:16 · 451 阅读 · 0 评论 -
数据缺失值可视化利器-missingno
背景数据探索和预处理是任何数据科学或机器学习工作流中的重要步骤。在使用教程或训练数据集时,可能会出现这样的情况:这些数据集的设计方式使其易于使用,并使所涉及的算法能够成功运行。然而,在现实世界中,数据是混乱的!它可能有错误的值、不正确的标签,并且可能会丢失部分内容。丢失数据可能是处理真实数据集时最常见的问题之一。数据丢失的原因很多,包括传感器故障、数据过时、数据管理不当,甚至人为错误。丢失的数据可能以单个值、一个要素中的多个值或整个要素丢失的形式出现。重要的是,在进行数据分析或机器学习之前,需要我们对原创 2021-08-29 09:27:23 · 2240 阅读 · 0 评论 -
十分钟掌握回归算法的评估指标
什么是回归算法?回归算法就是对历史数据进行拟合,形成拟合方程。接下来使用该方程对新数据进行预测。如果是一元数据的拟合方程,则拟合一条线,如果数据是二元数据,那么它的拟合方程就是一个拟合平面,对于更高维的数据,它的拟合方程将更加复杂。什么是回归算法的评估指标?对于回归算法,我们评价它的好坏,就是看它的预测结果与我们的真实结果的差异大小。在回归算法中,我们最常用的评估指标有:平均绝对值误差,均方误差,均方根误差,可决系数等。常见的回归算法的评估指标平均绝对值误差(MAE)均绝对值误差就是计算每一个样原创 2021-08-29 00:01:45 · 1228 阅读 · 0 评论 -
十分钟掌握分类算法的评估指标
什么是评估指标?评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能,如果选择的评价指标不合理,那么可能会得出错误的结论,故而应该针对具体的数据、模型选取不同的的评价指标。针对不同类型的学习任务,我们有不同的评估指标,这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 Score、P-R曲线(Precision-Recall Curve)、ROC、AUC等。基本概念-混淆矩原创 2021-08-28 23:56:29 · 1470 阅读 · 0 评论