- 博客(8)
- 收藏
- 关注
RSS订阅原创 阿里千问大模型微调踩坑记录
问题2：Tokenizer class QWenTokenizer does not exist or is not currently imported.=False 的意思是,即使在本地目录中没有找到分词器和模型文件,也不会从远程存储库下载它们。看别的分享llama也有这种情况，是transformer版本导致的。解决：用top -c查看所有的进程，可以看到有命令行的全部kill。为Ture可以来使用带有自定义代码的模型，因此怀疑是这行代码有问题。微调使用官方给的微调代码，仅修改模型参数路径。
2023-09-26 16:02:15
1403
原创 Transformer学习笔记
Transformer应该算是现有state-of-the-art模型，各种能用到深度学习的领域都对transformer进行了一些研究，之前只是浅看了一下，回顾之前的学习发现还是有不一样的收获，因此做一个整理。（大白话，仅供自己快速回顾思考使用）编码： 解码：问题：语义编码c用来记录整个序列的信息，序列长的话会损失很多信息，并且出现梯度小时问题引入了attention的encoder-decoder有多个c，不同的预测值会将注意力放在不同的c具体的实现：将固定的语义c替换成根据不同的输出变化的 变化
2022-07-07 15:32:24
559
1
原创 小白眼中的自动编码器
接触深度学习之初，了解到的第一种模型就是自编码器，当时的我虽然看了很多相关资料依然云里雾里，那么本篇主要整理总结一下自己眼中的自动编码器。自编码器主要由编码器和解码器构成，编码器可以将输出x转换成y，解码器再将y转换成，最后的loss是计算x和之间的差距。深度学习中，自编码器师一种无监督的神经网络模型编码：学习输入数据的隐含特征解码：用学习到的隐含特征重构原始输入数据神经网络在接受大量信息时学习是困难的，所以先从中提取出表征，再从这些表征中学习可以还原原始数据的信息，这样得到的表征就是最具代表性的高维表征。
2022-07-06 10:39:01
676
翻译 目标检测指标之树编辑距离TEDS (Tree-Edit-Distance-based Similarity)
因为最近的项目需要用到TEDS这个指标，看原始论文没有看明白，整理了一下网上的资料汇总在这里做一个记录，如有侵权请联系我删除首先是数据类型：表格的树结构图（HTML序列化结构 ）对于树而言 ，同样定义了树编辑距离的增删改操作：增：添加一个节点在父节点和其子节点之间 删：将树的某个节点删除，同时将其子节点移动到该节点的父节点上。 改：修改节点的label计算树的编辑距离就是求从一棵树转换为另一棵树所需要树的编辑操作的最少次数。具体的计算公式如下图所示：树编辑距离的实现可以直接
2022-04-26 09:23:54
2027
原创 CornerNet快速入门
论文：《CornerNet: Detecting Objects as Paired Keypoints》地址：https://openaccess.thecvf.com/content_ECCV_2018/papers/Hei_Law_CornerNet_Detecting_Objects_ECCV_2018_paper.pdf一、方法介绍动机：单阶段探测器取得良好效果的前提是Anchor boxes足够多以确保和ground truth充分重叠，会造成正负boxes不平衡，减缓训练速度。另一
2022-04-19 10:43:39
3124
1
原创 表格识别论文阅读——《Robust Table Detection and Structure Recognition from Heterogeneous Document Images》
摘要引入了一种名为RobusTabNet的方法来进行表格检测和结构识别。对于表格检测，使用CornerNet来作为RPN。对于表格结构识别，提出了基于空间CNN的分割模块和基于Grid CNN的单元格合并模块，因此表格结构识别可以识别具有大空白空间的表格和扭曲的表格。一、引言随着文档数量的爆炸式增长，迫切需要自动表格检测技术从文档中重建表格以支持下游应用（信息检索/问答）->实际的应用场景中，表格结构样式复杂（无边界表、跨页表），内容复杂（表格、图像、公式），背景对象复杂（图形、流程图
2022-04-18 17:38:35
3918
2
原创 白话入门目标检测（一）
一、目标检测网络的基本构成：Backbone+Neck+Detection headBackbone的目标是提取图像中的特征，但是仅仅提取特征是无法完成目标检测的任务的，需要后续的网络从这些提取到的特征中检测目标目标的位置和类别。后续的网络就被称为Detection head。随着技术的发展，为了充分利用好Backbone提取到的特征信息，以和最终的目标检测任务相关，很多结构可以被插在Backbone和Detection head中间，被称为Neck。二、MMDet代码解读MMdet是商汤科
2022-04-18 17:07:16
285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人