- 博客(162)
- 收藏
- 关注
RSS订阅原创 【论文笔记】Flamingo: a Visual Language Model for Few-Shot Learning
构建仅使用少量标注示例即可快速适应新任务的模型，是跨模态机器学习研究的一个开放挑战。我们介绍了Flamingo，这是一系列具有这种能力的视觉语言模型（VLM）。连接强大的预训练视觉和语言模型。处理任意交织的视觉和文本数据序列。无缝地摄入图像或视频作为输入。得益于其灵活性，Flamingo模型可以在包含任意交织文本和图像的大规模多模态网络语料库上进行训练，这对于赋予它们上下文少样本学习能力至关重要。我们对我们的模型进行了彻底的评估，探索并测量了它们快速适应各种图像和视频任务的能力。
2024-09-30 23:27:10
859
1
原创 【论文笔记】Visual Instruction Tuning
使用机器生成的指令遵循数据对大型语言模型（LLMs）进行指令微调已被证明可以提升新任务上的零样本能力，但在多模态领域这一想法探索较少。我们首次尝试使用仅语言GPT-4生成多模态语言-图像指令遵循数据。通过对这些生成数据进行指令微调，我们引入了LLaVA：大型语言和视觉助手，这是一个端到端训练的大规模多模态模型，它将视觉编码器和LLM连接起来，以实现通用视觉和语言理解。为了促进未来对视觉指令遵循的研究，我们构建了两个具有多样性和挑战性应用任务的评估基准。
2024-09-29 16:08:31
1069
原创 【论文笔记】Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation
先前关于手语翻译的研究表明，拥有中级手语词汇表示（有效识别单个手势）可以显著提高翻译性能。事实上，当前最先进的翻译技术需要词汇级别的标记化才能运行。我们提出了一种基于Transformer的新型架构，该架构可以联合学习连续手语识别和翻译，并且可以端到端地训练。这是通过使用连接主义时序分类（CTC）损失将识别和翻译问题绑定到单个统一架构中实现的。这种联合方法不需要任何真实时间信息，同时解决了两个相互依赖的序列到序列学习问题，并导致了显著的性能提升。我们评估了我们的方法在具有挑战性的。
2024-09-25 15:18:43
758
原创 2024 年高教社杯全国大学生数学建模竞赛 A 题 “板凳龙” 闹元宵思路分析
“板凳龙”，又称“盘龙”，是浙闽地区的传统地方民俗文化活动。人们将少则几十条，多则上百条的板凳首尾相连，形成蜿蜒曲折的板凳龙。盘龙时，龙头在前领头，龙身和龙尾相随盘旋，整体呈圆盘状。一般来说，在舞龙队能够自如地盘入和盘出的前提下，盘龙所需要的面积越小、行进速度越快，则观赏性越好。某板凳龙由 223 节板凳组成，其中第 1 节为龙头，后面 221 节为龙身，最后 1 节为龙尾。龙头的板长为 341 cm，龙身和龙尾的板长均为 220 cm，所有板凳的板宽均为 30 cm。每节板凳上均有两个孔，孔径（孔的直
2024-09-05 22:02:14
4500
原创 BPE算法介绍：解决自然语言处理中的分词难题
BPE是一种无监督的分词方法，它通过对训练语料库进行分析，逐步合并最频繁出现的字符对来构建词汇表。这种方法能够有效地处理多种语言，尤其是当面临大量未见过的数据时表现出色。算法步骤初始化词汇表Step1：从训练语料库中提取所有唯一的字符作为初始词汇表VVV。迭代过程Step2：计算所有可能的字符对出现的频率，找出出现频率最高的字符对xx′x, x'xx′。Step3：将该字符对替换为一个新的词元xx′xx'xx′，并在训练语料库中进行更新。Step4：将新的词元xx′。
2024-07-26 15:58:40
660
原创 大模型常用推理参数工作原理
在生成文本时用于控制输出多样性和确定性的三个关键参数：do_sample、temperature、top_k 和 top_p。do_sample 参数决定模型是采用概率采样生成下一个token还是选择最高概率的token。temperature 参数通过调整softmax函数，控制概率分布的平滑度，从而影响输出的随机性或保守性。top_k 和 top_p 参数分别限制了在生成过程中考虑的最高概率token的数量和累计概率比例，进一步引导生成过程中的选择偏向。这些参数可以组合使用，按特定顺序叠加效果。
2024-06-09 18:13:34
1133
4
原创 赛事分享 Amazon KDD Cup 2024: Multi-Task Online Shopping Challenge for LLMs
网上购物非常复杂，涉及从浏览到购买的各种任务，所有这些任务都需要深入了解客户的行为和意图。这就需要能够利用跨任务共享知识的多任务学习模型。然而，目前的许多模型都是针对特定任务的，从而增加了开发成本并限制了有效性。大语言模型（LLM）可以通过一个模型处理多个任务，只需稍作提示调整，从而有可能改变这种状况。此外，大语言模型还可以通过提供互动和及时的建议来改善客户体验。
2024-03-23 22:02:08
1667
6
原创 基于 Transformer 的中文对联生成器
本项目是一个基于 Transformer 的中文对联生成器，使用 PyTorch 构建模型，使用 Gradio 构建 Web UI。
2024-02-28 15:42:32
732
1
原创 Pytorch 自用 Scheduler 分享
本文介绍了 Warm-up + CosineAnnealingLR、Warm-up + ExponentialLR 和 Warm-up + StepLR 三种学习率调度器，并给出了使用模板。
2024-02-24 13:32:07
724
2
原创 变分自编码器（VAE）PyTorch Lightning 实现
变分自编码器（Variational Autoencoder，VAE）是一种深度学习中的生成模型，它结合了自编码器（Autoencoder, AE）和概率建模的思想，在无监督学习环境中表现出了强大的能力。VAE 在 2013 年由 Diederik P. Kingma 和 Max Welling 首次提出，并迅速成为生成模型领域的重要组成部分。
2024-02-16 14:30:31
1630
1
原创 DataCastle 员工离职预测 Baseline
给定影响员工离职的因素和员工是否离职的记录，建立模型预测有可能离职的员工。评分算法为准确率，准确率越高，说明正确预测出离职员工与留职员工的效果越好。数据主要包括影响员工离职的各种因素工资、出差、工作环境满意度、工作投入度、是否加班、是否升职、工资提升比例等. 以及员工是否已经离职的对应记录。数据分为训练数据和测试数据，分别保存在 train.csv 和 test_noLabel.csv 两个文件中，字段说明如下：Age：员工年龄 Label：员工是否已经离职，1 表示已经离职，2 表示未离职，这是目
2024-02-04 17:58:08
1463
2
原创 LaTeX 文本对齐：ragged2e 宏包
ragged2e是一个 LaTeX 宏包，它为 LaTeX 文档提供了一种改进的、更加灵活的文本对齐方式，特别是对于那些需要避免完全齐行对齐（justified）而采用不对齐排版样式（如左对齐、右对齐或两端对齐但内部单词间距可变）的情况。在标准的 LaTeX 中，纯文本段落默认是齐行对齐的，但在某些情况下，比如窄栏布局或者特定设计要求下，用户可能希望使用更为灵活和自然的不对齐排列。主要功能：改进的 ragged 右边距设置。
2024-01-31 23:34:30
2600
2
原创 机器学习 低代码 ML：PyCaret 的使用
PyCaret是一个开源的低代码 Python 库，专注于简化机器学习（ML）工作流程并加速实验过程。它特别适用于数据科学家、分析师和开发人员，通过减少实现 ML 解决方案所需的繁琐编码工作来提高工作效率。PyCaret 可以在一个统一且用户友好的接口下提供多种机器学习任务的支持，包括但不限于分类、回归、聚类、异常检测、关联规则挖掘等。低代码自动化PyCaret 允许用户通过简洁的 API 调用快速执行数据预处理、特征工程、模型训练、模型评估和模型选择等步骤。
2024-01-31 23:06:15
1154
原创 Pandas 并行计算：Pandarallel 的使用
是一个 Python 库，设计用于简化并行处理在 Pandas DataFrame 上的操作，特别针对那些原本串行执行的applymap和applymap等方法。它通过利用多核 CPU 的优势，在本地环境中实现并行计算，从而显著提高数据处理速度。简单易用Pandarallel 无需用户显式管理进程或线程，只需在代码开始处初始化一次，之后就可以直接使用类似 Pandas 的接口进行并行化操作。在初始化时，可以指定参数如来显示进度条，或者调整nb_workers参数以设置使用的 CPU 核心数量。
2024-01-30 17:23:19
1863
原创 机器学习 流形数据降维：UMAP 降维算法
UMAP（Uniform Manifold Approximation and Projection）是一种先进的非线性降维技术，用于将高维数据集转换为低维空间中的表示，同时尽可能保留原始数据的复杂结构和拓扑特性。它特别适用于可视化分析和机器学习领域的预处理步骤。
2024-01-30 17:23:08
2862
1
原创 大模型应用相关技术：RAG 与 Agent
检索增强生成（RAG, Retrieval-Augmented Generation）是一种自然语言处理（NLP）中的创新方法，它结合了信息检索（IR）和深度学习生成模型的优点，以提高文本生成任务的准确性和上下文相关性。在 AI 和机器学习领域中，RAG 旨在解决大规模语料库中的信息检索与自动生成相结合的问题。AI Agent，全称为人工智能代理（Artificial Intelligence Agent），是计算机科学和人工智能领域中的一个重要概念。它是指一种软件或硬件实体，设计用于模拟智能行为，并能够在
2024-01-29 17:24:25
6192
原创 自然语言处理 TF-IDF
TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索和文本挖掘的常用加权技术，它用于评估一个单词对于一个文档集合中某个特定文档的重要程度。在自然语言处理、搜索引擎优化和机器学习等领域中，TF-IDF 被广泛应用于关键词抽取、相似性计算、文档排名等多个场景。组成部分：TF 表示词频，即一个给定词语在特定文档中出现的次数或频率。
2024-01-29 15:54:20
1643
原创 LaTeX 多样列表：enumitem 宏包
enumitem宏包 是 LaTeX 中一个非常实用的工具，它提供了一种简单且灵活的方式来定制列表环境（包括无序列表itemize、有序列表enumerate以及描述列表）的格式和样式。通过使用enumitem宏包，用户可以轻松地控制列表项之间的垂直间距、水平缩进、标签样式（包括编号或符号）、悬挂缩进等参数，并能够在文档的不同部分应用不同的列表设置。以下是一些enumitem自定义间距\setlist命令允许全局或局部设定各类列表环境的间距参数，如：\topsep：列表与上下文正文之间的垂直间距。
2024-01-28 20:42:26
2584
原创 LaTeX 三线表：booktabs 宏包
LaTeX 宏包booktabs由开发，旨在提供一种专业、美观的方式来排版表格，特别适用于学术和出版物中的高质量表格设计。在 LaTeX 中，标准的表格环境通常使用细线将每个单元格分隔开来，而booktabs强调减少视觉混乱并增强表格的可读性，它通过引入不同粗细和间距的水平线来构建简洁、优雅且易于阅读的“三线表以下是一些booktabs\toprule: 用于绘制表格顶部的粗线，该线下面有适当的垂直间距。\midrule: 绘制一条中等粗细的横线，用于分隔表格的主要部分。
2024-01-28 20:19:21
2147
原创 【论文笔记】ImageNet Classification with Deep Convolutional
本文提出了一个大型深度卷积神经网络，该网络在 ImageNet LSVRC-2010 比赛任务（120 万张图片的 1000 分类任务）中，取得了top-1 准确率 62.5%和top-5 准确率 83.0%的好成绩，超越了以往所有的 SOTA 方法。该网络有 6000 万个参数和 65 万个神经元，由五个卷积层组成，其中一些后面跟着最大池化层，以及三个全连接层和一个最终的 1000 分类的 softmax 层。为了使训练更快，作者使用ReLU。
2024-01-16 23:17:26
1315
4
原创 Transformer 位置编码
词的位置和顺序是任何语言的重要组成部分。它们决定着语法，因此也决定了句子的实际语义。卷积神经网络（CNN）使用卷积核来捕获单词之间的相对位置信息，但其仅能捕获固定大小的局部上下文信息。循环神经网络（RNN）在处理序列信息上会有更好的效果，其依靠循环结构，将序列信息逐步传递，这其中就引入了单词的位置和顺序信息。但随着序列长度的增加，RNN 会慢慢忘记早前的信息，这就导致了长期依赖问题。除此之外，循环结构也使得 RNN 无法并行计算，这使得 RNN 的训练速度十分缓慢。放弃了循环结构，而采用了自注意力机制。
2024-01-16 13:10:50
4571
7
原创 数据科学竞赛平台推荐
Kaggle，成立于 2010 年，于 2017 年 3 月被谷歌收购，目前已是全球最大、最权威的数据科学竞赛平台。Kaggle 以数据科学竞赛为主，同时也提供了 Datasets、Code、Discussions、Learn 等功能。Kaggle 为初学者提供了很多学习资源，同时也设置了很多入门级别的练习赛，如经典的泰坦尼克号生还预测、波士顿房价预测、手写数字识别等，可以帮助初学者快速入门。Kaggle 上的竞赛往往有很高的奖金，吸引了全球的数据科学家参与其中，竞赛的难度也很大，往往需
2024-01-12 20:59:14
1498
2
原创 如何在数学建模竞赛中稳定拿奖
通常由三人组成团队，团队分工通常为建模手编程手和论文手在规定时间内，解决相应的问题，并给出解决方案，通常包含一篇结构完整、思路清晰的论文和一份能够运行并得出结果的程序代码全国大学生数学建模竞赛，简称国赛，由中国工业与应用数学学会主办，高等教育出版社独家冠名赞助，是世界上规模最大的数学建模竞赛。比赛时间：通常为每年的9 月中上旬比赛时长：通常为3 天比赛语言中文比赛题目：通常 ABCDE五个题目，其中 ABC 为本科生组题目，DE 为专科生组题目比赛奖项国家级：一等奖、二等奖省级。
2024-01-11 19:15:14
1323
6
原创 机器学习 高维数据可视化：t-SNE 降维算法
t-SNE 的全称为 t-Distributed Stochastic Neighbor Embedding，是一种非线性降维算法，它可以将高维数据映射到低维空间，同时保持数据间的相对距离不变。t-SNE 通常用于可视化高维数据，它可以将高维数据映射到二维或三维空间，从而可以通过图形的方式展示数据的特征。相比于 PCA 等线性降维算法，t-SNE 能够更好地保留数据的局部结构，因此在可视化高维数据时，t-SNE 通常能够展示出更好的效果。
2023-12-16 23:49:46
2604
3
原创 机器学习 sklearn 中的超参数搜索方法
在建模时模型的超参数往往会对精度造成一定影响，而设置和调整超参数的取值，往往称为**调参**。在实践中调参往往依赖人工来进行设置调整范围，然后使用机器在超参数范围内进行搜索，找到最优的超参数组合。在 sklearn 中，提供了四种超参数搜索方法：- `GridSearchCV`- `RandomizedSearchCV`- `HalvingGridSearchCV`- `HalvingRandomSearchCV`
2023-12-07 22:10:58
1582
7
原创 机器学习 类别特征编码：Category Encoders 库的使用
是一个用于将分类变量编码为数值的 Python 库，它提供了多种不同的编码技术。这些编码技术可以将分类变量转换成数值表示，以便在机器学习算法中使用。这个库的设计与 scikit-learn 类似，因此可以很容易地与 scikit-learn 的流程和工具集成。对 Pandas DataFrame 的原生支持：它支持 Pandas DataFrame 直接作为输入，也可以指定输出类型为 Pandas DataFrame。灵活的列配置。
2023-12-07 20:31:50
1452
1
原创 2023 年 全国大学生金融科技建模大赛 暨 第四届四川省大学生金融科技建模大赛 初赛数据分析
2023 年 全国大学生金融科技建模大赛 暨 第四届四川省大学生金融科技建模大赛 初赛数据分析，特征类别、缺失率、类别分布、个数分布、建模意见
2023-10-16 22:24:09
1333
8
原创 机器学习 不均衡数据采样方法：imblearn 库的使用
imblearn（全名为）是一个用于处理不平衡数据集的 Python 库。在许多实际情况中，数据集中的类别分布可能是不均衡的，这意味着某些类别的样本数量远远超过其他类别。这可能会导致在训练机器学习模型时出现问题，因为模型可能会偏向于学习多数类别。imblearn欠采样方法：减少多数类别的样本以使其与少数类别相匹配。过采样方法：通过生成合成样本来增加少数类别的样本数量，使其与多数类别相匹配。组合采样方法：结合了欠采样和过采样的技术，以获得更好的平衡。imblearn。
2023-10-03 20:57:01
2700
5
原创 Python 数据可视化：Seaborn 库的使用
Seaborn是一个基于 Python 的数据可视化库，它建立在 matplotlib 之上，并与 pandas 数据结构密切集成。Seaborn 的主要目的是通过使用更高级的界面来制作有吸引力的统计图形，从而使可视化变得更简单。Seaborn 提供了更高级的界面来绘制有吸引力的统计图形，例如散点图、条形图、箱线图等。这些图形可以通过几行代码快速生成，而不需要手动调整每个细节。Seaborn 包括几个预定义的主题，可以用于改变图形的外观。这使得它更容易创建美观且专业的图形。
2023-09-15 00:14:58
1743
1
原创 程序设计 堆
堆是一棵树，其每个节点都有一个键值，且每个节点的键值都大于等于/小于等于其父亲的键值。每个节点的键值都大于等于其父亲键值的堆叫做小根堆，否则叫做大根堆。STL 中的其实就是一个大根堆。（小根）堆主要支持的操作有：插入一个数、查询最小值、删除最小值、合并两个堆、减小一个元素的值。一些功能强大的堆（可并堆）还能（高效地）支持 merge 等操作。一些功能更强大的堆还支持可持久化，也就是对任意历史版本进行查询或者操作，产生新的版本。
2023-08-14 16:43:09
1028
1
原创 程序设计 树基础
一个没有固定根结点的树称为无根树有n个结点，n−1条边的连通无向图无向无环的连通图任意两个结点之间有且仅有一条简单路径的无向图任何边均为桥的连通图没有圈，且在任意不同两点间添加一条边之后所得图含唯一的一个圈的图在无根树的基础上，指定一个结点称为根，则形成一棵有根树有根树在很多时候仍以无向图表示，只是规定了结点之间的上下级关系，详见下文。森林（forest）：每个连通分量（连通块）都是树的图。按照定义，一棵树也是森林。生成树（spanning tree）
2023-08-14 01:16:24
340
原创 我的 365 天创作纪念日
最开始我写博客没有什么特别的原因，主要是因为以下几点：练习自己的语言组织能力记录自己学习生活中学到的知识为和我同一个学习阶段的朋友提供帮助事实上最开始我根本不指望我的博客有多少人看，主要是想找一个好的保存 Markdown 笔记的平台。最终我选择了 CSDN，一来是因为 CSDN 对 Markdown 语法的支持较为全面，UI 外观也比较符合我的审美；二来是之前学习的时候也经常在 CSDN 上查找资料（CSDN 的 SEO 优化做的不错）。
2023-08-01 20:24:50
418
原创 程序设计 算法基础
时间复杂度和空间复杂度是衡量一个算法效率的重要标准。同一个算法在不同的计算机上运行的速度会有一定的差别，并且实际运行速度难以在理论上进行计算，实际去测量又比较麻烦，所以我们通常考虑的不是算法运行的实际用时，而是算法运行所需要进行的基本操作的数量。在普通的计算机上，加减乘除、访问变量（基本数据类型的变量，下同）、给变量赋值等都可以看作基本操作。对基本操作的计数或是估测可以作为评判算法用时的指标。衡量一个算法的快慢，一定要考虑数据规模的大小。所谓数据规模，一般指输入的数字个数、输入中给出的图的点数与边数等等。一
2023-07-30 22:33:14
978
原创 LaTeX 速查手册
LaTeX\LaTeXLATEX（LaTeX，音译“拉泰赫”）是一种基于 ΤΕΧ 的排版系统，由美国计算机学家莱斯利·兰伯特（Leslie Lamport）在 20 世纪 80 年代初期开发，利用这种格式，即使使用者没有排版和程序设计的知识也可以充分发挥由TeX\TeXTEX所提供的强大功能，能在几天、甚至几小时内生成很多具有书籍质量的印刷品。它构筑在PlainTeXPlainTEX的基础之上，并加进了很多的功能以使得使用者可以更为方便的利用TeX。
2023-07-11 22:15:44
397
原创 Python 背包问题
背包问题（Knapsack Problem）是一类常见的组合优化问题。其问题描述为：给定一个固定大小、能够携重 WW 的背包，以及一组有价值和重量的物品，找出一个最佳解决方案，使得装入背包的物品总重量不超过 WW，且总价值最大。
2023-07-07 21:48:34
3006
原创 Markdown 进阶语法：Mermaid 绘图 (二) - 顺序图 (Sequence Diagram)
Mermaid是一个基于 JavaScript 的图表绘制工具，它使用类似 Markdown 的简单语法来编写，并动态地将它们渲染成图表。流程图(Flowchart) : 用关键词graph或flowchart表示顺序图(Sequence Diagram) : 用关键词表示类图(Class Diagram) : 用关键词表示状态图(State Diagram) : 用关键词表示实体关系图(Entity Relationship Diagram) : 用关键词erDiagram表示用户旅程图。
2023-07-06 16:44:30
2666
原创 Markdown 进阶语法：Mermaid 绘图 (一) - 流程图 (Flowchart)
Mermaid是一个基于 JavaScript 的图表绘制工具，它使用类似 Markdown 的简单语法来编写，并动态地将它们渲染成图表。流程图(Flowchart) : 用关键词graph或flowchart表示顺序图(Sequence Diagram) : 用关键词表示类图(Class Diagram) : 用关键词表示状态图(State Diagram) : 用关键词表示实体关系图(Entity Relationship Diagram) : 用关键词erDiagram表示用户旅程图。
2023-07-04 22:54:35
11252
9
原创 MATLAB 层次分析法
层次分析法，简称 AHP，是指将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。该方法是美国运筹学家匹茨堡大学教授萨蒂于 20 世纪 70 年代初，在为美国国防部研究“根据各个工业部门对国家福利的贡献大小而进行电力分配”课题时，应用网络系统理论和多目标综合评价方法，提出的一种层次权重决策分析方法。层次分析法一般包括以下几个步骤：1.建立层次结构模型2.构造判断矩阵3.层次单排序及其一致性检验4.层次总排序及其一致性检验
2023-07-02 23:23:18
1099
2
电动汽车数据（1997 - 2024 年）
2024-08-12
各国生活成本指数数据集
2024-08-12
jupyter notebook关闭后连续弹出提示框，多次点击确认后才停止弹出。
2022-08-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人