![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习与人工智能
文章平均质量分 71
WinterShiver
自然语言处理博士生,熟悉Python/Haskell
CSDN放的东西都是草稿,很多东西可能是是粗浅乃至错误的,欢迎讨论
展开
-
【条件随机场】Linear Chain CRF原理和实现(上)
这篇文章结合代码讲解线性链CRF的理论和实现,帮助读者彻底理解CRF的所有细节,从「听说过这个概念」达到「可以用起来」的水平。原创 2022-03-18 18:42:26 · 856 阅读 · 0 评论 -
Pytorch:多模态大模型预训练、大模型微调:加载数据的正确姿势
由于训练数据集过大,在训练读取数据时,直接使用Dataset类可能会带来性能问题。Pytorch的Dataset类在初始化时会将整个数据集加载到内存中,如果数据集非常大,没法全部放在内存里,使用Dataset类会显著增加硬盘io次数,带来性能下降。对于近期兴起的多模态大模型的预训练和微调,常见情况是训练数据规模极大,通常可以达到1m-100m级别。此时,训练数据通常用一个上百万行的jsonl文件存储,每行对应一条json格式的训练数据,其中可能包括数据关联的其他图、音、视频数据的索引。原创 2024-03-15 14:47:46 · 824 阅读 · 0 评论 -
Pytorch:批次序列数据的pad,pack与unpack
import torchimport torch.nn as nn# import torch.nn.functional as F# import torch.optim as optim# from torchvision import datasets, transforms# from torch.autograd import Variable# from torch.uti...原创 2020-01-09 14:03:35 · 912 阅读 · 0 评论 -
Pytorch: dataloader的一些使用心得
Pytorch: Dataloader的一些使用心得这篇博文不讲原理,只讲一些使用方法和技巧。所有提供的信息仅供参考,不要当作金科玉律。文章目录Pytorch: Dataloader的一些使用心得基本程序框架从dataloader获取数据collate_fn的使用collate_fn的使用实例附录附录1附录2基本程序框架首先给出讲述的时候使用的基本程序框架。import torch...原创 2019-12-10 22:03:30 · 1742 阅读 · 0 评论 -
2019-08-27-four-step-formula-nlp
在预训练语言模型兴起之前,通过简单的流程化的注意力引用,就可以较好地完成很多NLP任务。这也就是spaCy提供的服务。来源:Formula for NLP作者:Matthew Honnibal Linkedin引言这篇博文介绍了“嵌入,编码,注意,预测”的NLP处理流程,这个流程对于小任务的通用性很好,所以很popular。笔者之前做的引言分类的小项目其实就潜移默化地受到了这个处理流程的影响,但是笔者本人甚至没有意识到。因此,在读到这篇博文时受到很大启发,所以做一些学习笔记。这个流程的思想在.翻译 2020-08-21 11:20:11 · 161 阅读 · 0 评论 -
元学习方法MAML应用于有监督学习
元学习方法MAML应用于有监督学习对论文Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks一部分难点的解读。文章目录元学习方法MAML应用于有监督学习理解MAML中的元学习概念MAML应用于有监督学习和有监督学习的比较实验理解MAML中的元学习概念MAML中,meta learning被体现为使用task进...原创 2020-02-27 19:13:43 · 1221 阅读 · 0 评论 -
决策树概览
决策树文章目录决策树问题框架解决方法框架实例分析区分度的度量其他相关问题剪枝连续值处理缺失值处理经典算法概述ID3C4.5CART参考问题框架将具有p维离散特征的n个样本分到c个类别中去。模型的测试:一棵树,对于输入按照树的指向来提问题,最终归入一个叶子节点实现分类。模型的训练:每次对数据集的属性提出一个问题,把一个叶子节点变成分叉(而不是增加一个属性的分支),从而逐渐按照属性值形成分支...原创 2019-11-12 17:01:33 · 230 阅读 · 0 评论 -
常见损失函数总结 in NLP
常见损失函数总结loss一般是正的,而且越小越好。0-1 loss / abs loss应用场景:回归问题0-1 loss:只要预测值和标签不相等,就loss+=1;或者预测值q和标签p之间的差值大于阈值t,就loss+=1.或者套用其他的非线性函数。abs loss:loss += abs(p-q).square loss应用场景:很多,分类问题和回归问题都可以loss输入...原创 2019-11-12 08:00:54 · 1917 阅读 · 0 评论 -
常用的有信息搜索求解策略
现实问题的形式化基本概念环境:一种静态、可观察、确定、离散的基础状态:表达在环境中某位置初始状态:起始时的状态后继函数:从状态到状态状态集合:从初始状态开始的后继函数闭包目标状态集合解:从初始状态到目标状态的路径路径耗散:从初始状态到目标状态,在路径上的花费无信息:无其他信息,搜索时只能通过后继索引结点,或判断当前状态是否达成目标形式化要素要建立状态、初始状态、后继函数...原创 2019-04-03 09:39:27 · 968 阅读 · 0 评论 -
常用的无信息搜索求解策略
现实问题的形式化基本概念环境:一种静态、可观察、确定、离散的基础状态:表达在环境中某位置初始状态:起始时的状态后继函数:从状态到状态状态集合:从初始状态开始的后继函数闭包目标状态集合解:从初始状态到目标状态的路径路径耗散:从初始状态到目标状态,在路径上的花费无信息:无其他信息,搜索时只能通过后继索引结点,或判断当前状态是否达成目标形式化要素要建立状态、初始状态、后继函数...原创 2018-09-23 23:03:00 · 905 阅读 · 0 评论 -
有监督学习的模型评价
模型评价的目的 对于解决同一问题的不同模型,通过比较模型指标来比较模型之间的优劣,选取最优模型 对于同一模型,通过比较模型指标来调整模型参数 模型评价的基本思路评价机器学习模型的基本思维是把数据分为没有交集,且具有相同普遍性的训练集(Training Set)和测试集(Testing Set),这种做法被称为交叉验证(Cross Validation).其中,训练集用于训练...原创 2018-08-01 07:15:41 · 2447 阅读 · 0 评论