- 博客(25)
- 收藏
- 关注
原创 文本分类系统笔记
增量学习的一些常见评估指标包括「准确率、记忆能力和迁移能力」等,其中记忆能力和迁移能力是衡量模型可塑性和稳定性的指标,但这些指标具体的公式定义却是有争议的。其中一点是增量学习通常需要引入额外的超参数来平衡模型的稳定性和可塑性,这些超参数通常在验证集上被优化,「但这本质上违反了增量学习不能获取未来数据的因果律,从而会导致人们作出过于乐观的结论,在真实的生产环境中常常无法重现实验结果。结合GUI的模块进行更改,人工抽检的那些数据,可以用作下一步训练的时候用,词袋 Count:统计词汇出现频次,丢弃语序、句法。
2026-06-10 23:45:41
207
原创 力扣刷题笔记2
if (cntA!= cntB) {// 1的个数不同,按个数升序} else {// 1的个数相同,按数值升序});这是一个lambda 表达式(匿名函数),作用是告诉sort:“如何判断两个元素a和b的先后顺序”。
2026-03-06 23:33:33
319
原创 nlp学习笔记6 人名分类器
定义了字符集():包含大小写字母 + 标点,统计字符总数(n_letters),用于后续 one-hot 编码;定义目标分类类别(categorys):18 个国家 / 语言类别,统计类别数(),作为分类任务的标签范围。__init__:接收 x/y 列表,初始化样本列表和样本总数;__len__:返回样本总条数;:按索引获取单条样本,完成数据向量化:人名 x:转换为[人名长度 × 字符总数]的 one-hot 张量(每个字母对应字符集的位置置 1);标签 y:转换为对应国家在。
2026-03-05 20:38:20
389
原创 力扣刷题笔记1
注意到这样可以把字符串变成数字 int digit = a[0] - '0';把数字变字符就是不用int接受就行字符串得用双引号,std::string a = "1";
2026-03-02 23:21:38
401
原创 nlp笔记5 LSTM,GRU
输出门部分的公式也是两个, 第一个即是计算输出门的门值, 它和遗忘门,输入门计算方式相同. 第二个即是使用这个门值产生隐含状态h(t), 他将作用在更新后的细胞状态C(t)上, 并做tanh激活, 最终得到h(t)作为下一时间步输入的一部分. 整个输出门的过程, 就是为了产生隐含状态h(t).* GRU仍然不能完全解决梯度消失问题, 同时其作用RNN的变体, 有着RNN结构本身的一大弊端, 即不可并行计算, 这在数据量和模型体量逐步增大的未来, 是RNN发展的关键瓶颈.
2026-02-21 19:04:35
548
原创 nlp笔记4 RNN
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果, 能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.学习了RNN模型的作用:因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛
2026-02-12 15:06:35
582
原创 nlp笔记3文本预处理
n-gram:给定一段文本序列, 其中n个词或字的相邻共现特征即n-gram特征, 常用的n-gram特征是bi-gram和tri-gram特征, 分别对应n为2和3.比如,“我爱你”, 拆成:我,爱,你。用2-gram就变成我爱,爱你。好处是,和“你爱我”。如果没有2-gram,那就是一样的分词【我,爱,你】但是用2-gram,就是【我爱,爱你,你爱,爱我】2-gram 是指将序列按为一组进行切分,对于长度为n的序列,会生成n-1个 2-gram 组合。
2026-02-11 18:26:58
60
原创 lambda,map,chain认识
只能写单个表达式(不能写 if/for 等复杂逻辑),适合简单运算。无需定义函数名,用完即弃,常配合 map/filter 等函数使用。
2026-02-10 15:13:08
287
原创 nlp跟学笔记2
文本数据分析的作用: * 文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择.常用的几种文本数据分析方法: * 标签数量分布 * 句子长度分布 * 词频统计与关键词词云。
2026-02-10 13:01:05
355
原创 dl-pytorch笔记5
导入图片,模型,改变图片形状(可选),之后with torch.no_grad():获得输出,再获取最大参数. print(output.argmax(1))查看输出类别等。# 加载数据 划分数据 创建网络模型(导入或者自定义) 损失函数 优化器。直接搜索,之后使用云端笔记本创建笔记.设置GPU如下图。# 可视化Tensorboard调试。存储文件以及运行的如图。
2025-05-25 00:10:02
194
原创 dl-pytorch学习笔记5
导入图片,模型,改变图片形状(可选),之后with torch.no_grad():获得输出,再获取最大参数. print(output.argmax(1))查看输出类别等。# 加载数据 划分数据 创建网络模型(导入或者自定义) 损失函数 优化器。直接搜索,之后使用云端笔记本创建笔记.设置GPU如下图。# 可视化Tensorboard调试。存储文件以及运行的如图。
2025-05-25 00:04:26
314
原创 dl-pytorch学习笔记4
例如, sum1 = sum(exp(xi)) = exp(0.1)+exp(0.2)+exp(0.3) = 3.676。p(1) = exp(0.1) / sum1=1.105/3.676=0.3006, 这样计算。交叉熵一般是在分类中使用,然后步骤是,计算每个类别的概率,之后用真实标签的概率计算交叉熵损失。log(P(y=1))(实际上是取ln) ln(0.3294)=-1.110。标签y=1, P(y=1)=0.3294。在官网查看优化器的类别,随机梯度下降…sequential简单搭建。
2025-05-24 00:48:46
194
原创 dl-pytorch学习笔记3
torch.nn.Flatten 是一个神经网络层,用于在模型中添加展平操作,可以作为模型的一部分进行训练和推理。torch.flatten 是一个函数,用于直接对张量进行操作,返回一个展平后的新张量。如果是想在模型中添加一个展平操作,应该使用 torch.nn.Flatten。如果只是想对张量进行展平操作,可以使用 torch.flatten。注意需要add_images,加s。显式指定当前类和实例,确保正确调用父类构造函数。隐式获取当前类和实例,更简洁的写法(推荐)。线性层以及其他层介绍。
2025-05-22 16:39:27
266
原创 dl-pytorch学习笔记2
dataloader是对数据集取到手上使用的数据。例如设置:是否每轮打乱顺序(全部取完算一轮),一轮的每次取多少个数据,最后一次数据不够一次是不是要丢弃等。先运行py文件,生成log文件,之后在终端打开进入文件夹,然后输入上面指令,在浏览器调整。通过这部分代码能够把过程的图片可视化出来,便于调节,查看输入了什么类型的图片。如果需要重新使用就要刷新. log的日志可能会影响结果所以重新运行需要删除。tips:找官方文档,输入输出,需要的参数,打印类型查看。都是创建实例的工具之后使用,注意前后需要的类型格式。
2025-05-22 12:28:15
454
原创 dl学习笔记1
4. 安装python ,jupyter notebook。gpu,任务管理器查看之后看有没有独立显卡。在环境里激活使用jupyter。win+R 终端 nvidia-smi。1. 先安装anaconda。2. 创建环境,一些常用指令。3. 安装pytorch命令。进入官网之后下拉查找版本。
2025-05-21 13:24:07
289
原创 pytorch中显示Triton缺失
找了网上很多教程,csdn一开始也找不到,可能是我关键词的搜索有问题,之后取b站搜索,也没有比较好的教程,不然就是背景音太让我不喜,然后自己也是小白,红如温。在用cuda跑ptyotch的训练的时候,发现报错,说什么pytorch中显示Triton缺失,直接pip install 也不行。比如这样,之后复制粘贴修改就好了,注意到在添加Lib和 INCLUDE的时候,多行用;然后在conda激活自己的虚拟环境(安装torch的那个,以及对应Python版本为3.9,之后。导入库就报错了,显示。
2025-04-07 11:58:03
1879
原创 笔记之关于continue,break,return
可以看出,continue是不执行当前该层循环中后续的代码,比如i=0的时候碰到了continue,那就跳过i=0后续的代码,进入下一层,i=1了。这里是单层递归的逻辑,如果遍历取出的子串不符合IP地址函数的判断,那我后续的循环,假设i=1,path=3.,在i=1这一层,我取的subs='314.',加到path就是'3.314.',就不符合IP地址判断了,为了剪枝节省时间,就要把i=1下面的层给去除了。break是终止当前的循环,比如在循环row=[4,-5,6]的时候,遇到负数就结束了这一行。
2025-03-04 20:19:00
633
原创 笔记001
warmup是针对学习率learning rate优化的一种策略,主要过程是,在预热期间,学习率从0线性(也可非线性)增加到优化器中的初始预设lr,之后使其学习率从优化器中的初始lr线性降低到0。加噪声处理:向数据中添加随机噪声,如高斯噪声、随机剪裁、色彩变换等,使模型更能应对现实世界中的噪声和变化。【【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8 - CSDN App】数据重采样:对于不平衡的数据集,增加少数类别的样本或减少多数类别的样本,以改善数据平衡。
2025-02-14 12:13:22
633
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅