小哲的博客

什么是模态表示（Modal Representation）？模态表示是将不同感官或交互方式的数据（如文本、图像、声音等）转换为​计算机可理解和处理的形式，以便进行后续的计算、分析和融合。文本模态的表示：文本模态的表示方法有多种，如独热表示、低维空间表示（如通过神经网络模型学习得到的转换矩阵将单词或字映射到语义空间中）、词袋表示及其衍生出的n-grams词袋表示等。目前，主流的文本表示方法是预训练文本模型，如BERT。视觉模态的表示：视觉模态分为图像模态和视频模态。

从论文来看，研究者向我们展示了TimeGPT作为一种新型基础模型在时间序列预测领域的潜力和优势。通过克服当前数据集和模型架构的限制，TimeGPT有望推动时间序列分析的进一步发展，并改进现有预测方法的准确性和效率。

本文介绍业务模型的上线流程。首先在训练模型的工具上，一般三个模型训练工具，Spark、R、Python。这三种工具各有千秋。针对不同的模型使用场景，为了满足不同的线上应用的要求，会用不同的上线方法。

时间序列是一系列按照时间顺序排列的数据，这些数据之间的间隔可以是等距的，也可以是不等距的。 **时间序列的预测过程包括通过对时间序列的过去行为进行建模（自回归）或使用其他外部变量来预测时间序列的未来值**。

生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型，可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络最最直接的应用是数据的生成，而数据质量的好坏则是评判GAN成功与否的关键。本文介绍了GAN最初被提出时的基本思想，阐述了其一步步演化、改进的动机和基本思想以及原理，从基于模型改进的角度介绍了WGAN，WGAN-GP，LSGAN，f...

（Generative modeling）"已成为机器学习的一个较为广泛的领域。在图像这种流行数据上，每张图像都有数千数万的维度（像素点），。通常来讲，看起来像真实图像的数据点会以更高的概率被采纳，而看起来像随机噪声图像的数据点会以较低的概率被采纳。有时候这样的模型不一定有用，因为知道了一张图像后就不太可能合成不一样的图像。我们实际上更加需要的是和已经存在的图像类似，但又不完全相同的图像，拿来扩充数据，这样的图像原本是不存在的。GAN和VAE都是效果比较好的生成模型，但是；。

随着深度学习的发展，有了更专门的处理核心，称为张量核在执行张量/矩阵计算时，它们更快更有效。为什么使用张量处理单元，是因为在机器/深度学习中所处理的数据类型就是张量。16384 CUDA + 24GB，对比3090 的10496 CUDA ，真的很香。而4080 16G的9728CUDA 如果价格能到7000内，应该是一个性价比很高的选择。对于AMD的 7900XTX 应该也是一个很好的选择，但是兼容性是个大问题。

当然，文无定法。这个顺序并不是固定不变的，也可以根据具体情况作出相应的调整。例如，当你的数据集已经准备好了，可以直接开始定义模型，然后再定义训练过程；或者在进行模型训练之前，先进行数据集的分析和可视化等操作。源自：作者对于图像任务:源自：先给结论：以写了两三年pytorch代码的经验而言，比较好的顺序是先写model，再写dataset，最后写train。在讨论码组件的具体顺序前，先分析每一个组件背后的目的和逻辑。不同的model对应了不同的数据输入格式，如ResNet一般是输入多通道二维矩阵，而ViT

BERT（Bidirectional Encoder Representations from Transformers）是一种自然语言处理中的预训练模型，具有强大的文本理解能力。但是BERT也存在一些缺点，主要体现在如下几个方面：1）训练方法与测试方法不一致。因训练时把输入序列的15%随机置换为MASK标记，但这个标记在测试或微调时是不存在的，因为会影响模型性能。2）对被置换的MASK标记，BERT的损失函数使用约等号，也就是假设那些被标记的词在给定非标记的词的条件下是独立的。但是这个假设并不是（总是

生成扩散模型DDPM如下图所示分为前向、逆向两个过程，它首先通过不断往原始清晰数据中添加噪声使其变成标准高斯噪声（前向过程），而后期望从标准高斯噪声中还原原始数据（逆向过程）。若能实现，那便可从已知的标准高斯分布中采样一个噪声数据，而后利用DDPM模型生成符合原始数据分布的新数据。Diffusion模型包含两个过程：数学符号：y∝xy\propto xy∝x：y正比于x，即y随着x增大而线性增大。条件概率：贝叶斯公式：p(A∣B)=p(B∣A)×p(A)p(B)p(A|B)=\frac{p(B|A)\

预训练模型中存在大量知识；预训练模型本身具有少样本学习能力。GPT-3 提出的，也有效证明了在Zero-shotFew-shot场景下，模型不需要任何参数，就能达到不错的效果，特别是近期很火的GPT3.5系列中的ChatGPT。在做的过程中，研究者发现让下游任务的目标与预训练的目标对齐是有好的。因此下游任务通过引入文本提示符（textual prompt），把原来的任务目标重构为与预训练模型一致的填空题。情感预测任务。

首先，定义一些在实现神经网络时将使用的辅助函数和类。重要的是，定义了一个残差模块，它将输入简单地添加到特定函数的输出中（换句话说，将残差连接添加到特定函数中）。return valreturn arr我们还为上采样和下采样操作定义了别名。# 不再有阶梯卷积或池forward diffusion process在TTT个时间步内逐渐将噪声从真实分布添加到图像中，这是根据发生的。最初的DDPM作者采用了我们将前向过程的方差设置为线性增加的常数 fromβ110−4β1​10−。

GPT-2（Generative Pre-trained Transformer 2）和GPT-3（Generative Pre-trained Transformer 3）都是基于Transformer架构的自然语言处理模型，具有强大的文本生成能力。它们的核心是自注意力（self-attention）机制，尤其是GPT-3，该机制在计算上的规模更大。在GPT-2中，掩码自注意力的计算过程如下：首先，将输入文本的每个词嵌入到高维空间中，形成词嵌入向量。然后，通过多层的注意力头（attention hea

Performer是一种用于高效处理自注意力机制（Self-Attention）的神经网络架构**。自注意力机制在许多自然语言处理和计算机视觉任务中取得了出色的成绩，但由于其计算复杂度与序列长度的平方成正比，因此在处理长序列时存在问题。为了解决这些问题，Google AI引入了Performer，这是一种**具有线性扩展性的Transformer架构，其注意机制具有线性扩展性**。该框架是通过`Fast Attention Via Positive Orthogonal Random Features`（*

ELMo模型可以根据上下文更新词的特征表示，实现了词向量由静态向动态的转变。但是由于ELMo依赖于双向语言模型的架构，导致其训练只能适用于小规模的语料库，计算效率并不高。为了解决这些问题，基于Transformer框架的BERT和GPT模型被提出来。

卷积神经网络（CNNs）模型变迁的主要里程碑有模块化、多路径、因式分解、压缩、可扩展。一般来说，分类问题是计算机视觉模型的基础，它可以延申解决更复杂的视觉问题，例如：目标检测的任务包括检测边界框并对其中的对象进行分类。而分割的任务则是对图像中的每个像素进行分类。卷积神经网络首次被用于解决图像分类问题，并且取得了很好的效果，所以在这个问题上，研究人员开始展开竞争。

Prompt Learning的组成部分提示模板：根据使用预训练模型，构建 完形填空 or 基于前缀生成 两种类型的模板。类别映射/Verbalizer：根据经验选择合适的类别映射词。预训练语言模型。典型的Prompt Learning方法总结硬模板方法：人工设计/自动构建基于离散 token 的模板，例如PETLM-BFF。软模板方法：不再追求模板的直观可解释性，而是直接优化Prompt Token Embedding，是向量/可学习的参数，例如P-tuning。

继OpenAI在2021提出的文本转图像模型之后，越来越多的大公司卷入这个方向，例如谷歌相继推出了和。一些主流的文本转图像模型，例如，和采用了扩散模型（）作为图像生成模型，这也引发了对扩散模型的研究热潮。与GAN相比，扩散模型训练更稳定，而且能够生成更多样的样本，OpenAI的论文也证明了

本文主要介绍一种建立在LSTM基础上的ELMo预训练模型。2013年的Word2Vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了一个较好的解决方案。不同于以往的一个词对应一个向量，是固定的。**在ELMo世界里，预训练好的模型不再只是向量对应关系，而是一个训练好的模型**。使用时，**将一句话或一段话输入模型，模型会根据上线文来推断每个词对应的词向量**。这样做之后明显的好处之一就是对于多义词，可以结合前后语境对多义词进行理解。比如appl

什么是多模态？多模态指的是多种模态的信息，包括：文本、图像、视频、音频等。顾名思义，多模态研究的就是这些不同类型的数据的融合的问题。目前大多数工作中，只处理图像和文本形式的数据，即把视频数据转为图像，把音频数据转为文本格式。这就涉及到图像和文本领域的内容。

与他人共享机器学习模型、API或数据科学工作流程的最佳方法之一是创建一个交互式应用程序，允许用户或同事在浏览器中尝试演示。Gradio允许您构建演示并共享它们，所有这些都使用Python。通常只需几行代码！

本项目实现了对于 ChatGLM-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。

ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。ChatGLM-6BChatGLM-6B具备的能力自我认知：“你是谁”，“介绍一下你的优点”提纲写作。

文本向量化：将文本信息表示成能够表达文本语义的向量，是。词嵌入(Word Embedding)：一种将文本中的词转换成数字向量的方法，属于文本向量化处理的范畴。向量嵌入操作面临的包括：（1）信息丢失：向量表达需要保留信息结构和节点间的联系。（2）可扩展性：嵌入方法应具有可扩展性，能够处理可变长文本信息。（3）维数优化：高维数会提高精度，但时间和空间复杂性也被放大。低维度虽然时间、空间复杂度低，但以损失原始信息为代价，因此需要权衡最佳维度的选择。常见的文本向量和词嵌入方法包括独热模型词袋模型。

特征归一化（Feature Scaling）或特征标准化（Feature Normalization）是一种数据预处理技术，用于将不同特征的数值范围统一到相同的尺度上，以便更好地训练机器学习模型。它可以提高模型训练的收敛速度和性能，并且可以减少特征之间的偏差，使得不同特征对模型的影响更加平衡。

在评估模型时，虽然准确率是训练阶段模型评估和应用模型调整的重要指标，但它并不是模型在所有场景下评估的最佳指标，因为用于构建大多数模型的数据是不平衡的，并且在对数据进行训练时模型可能会过拟合。P-R曲线的绘制跟ROC曲线的绘制是一样的，在不同的阈值下得到不同的Precision、Recall，得到一系列的点，将它们在P-R图中绘制出来，并依次连接起来就得到了P-R图。其中，真正类和真负类是模型正确分类的样本，假负类和假正类是模型错误分类的样本。在二分类的混淆矩阵中，看到标签 [1] 的错误分类数据较少。

Python机器学习及实践——基础篇：监督学习经典模型（分类学习）机器学习中监督学习模型的任务重点在于，根据已有经验知识对未知样本的目标/标记进行预测。根据目标预测变量的类型不同，可以把监督学习任务大体分为分类学习和回归预测两类。监督学习任务的基本架构和流程：首先准备训练数据，可以是文本、图像、音频等；然后抽取所需要的特征，形成特征向量（Feature Vectors）；接着，把这些特征向...

Python机器学习及实践——基础篇：无监督学习经典模型（数据聚类）无监督学习（Unsupervisied Learning）着重于发现数据本身的分布特点。不需要对数据进行标记。数据聚类是无监督学习的主流应用之一。最为经典并且易用的聚类模型，当属K均值（K-means）算法。该算法要求预先设定聚类的个数，然后不断更新聚类中心；经过几轮这样的迭代，最后的目标就是要让所有数据点到其所属聚类中心...

评价指标的局限性问题1：准确率的局限性问题2：精确率与召回率的权衡问题3：平方根误差的“意外”参考资料评价指标是针对将相同的数据，输入不同的算法模型，或者输入不同参数的同一种算法模型，而给出这个算法或者参数好坏的定量指标。在模型评估过程中，往往需要使用多种不同的指标进行评估，在诸多的评价指标中，大部分指标只能片面的反应模型的一部分性能，如果不能合理的运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。本文将详细介绍机器学习分类任务的常用评价指标：准确率（Accuracy）、精确率（Prec

Python机器学习及实践——进阶篇：模型实用技巧（模型正则化）任何机器学习模型在训练集上的性能表现，都不能作为其对未知测试数据预测能力的评估。1. 欠拟合与过拟合所谓拟合，是指机器学习模型在训练的过程中，通过更新参数，使得模型不断契合可观测数据（训练集）的过程。使用线性回归模型在披萨训练样本上进行拟合：#!/usr/bin/env python# -*- coding: ...

灰色关联分析法利用灰色关联分析的九个步骤：1．根据分析目的确定分析指标体系，收集分析数据。       设n个数据序列形成如下矩阵：                     其中m为指标的个数，2．确定参考数据列参考数据列应该是一个理想的比较标准，可以以各指标的最优值（或最劣值）构成参考数据列，也可根据评价目的选择其它参照值．记作 3．对指标数据进行无量纲化...

随机森林处理鸢尾花数据实践（基于R语言和Python语言）基于R语言使用随机森林处理鸢尾花数据实战R：randomForest包R语言中的randomForest包主要功能是分类和回归分析，一共提供了39个函数，最常用的就是randomForest来实现分类(Classification)和时间序列回归(Regression)实验准备：设置工作空间## 设置工作空间setw...

**Optuna 是一个使用Python编写的开源的超参数优化框架**，它可以自动为机器学习模型找到最佳超参数。最基本的（也可能是众所周知的）替代方案是 sklearn 的 GridSearchCV，它将尝试多种超参数组合并根据交叉验证选择最佳组合。

统计学习及监督学习概论第一章：统计学习及监督学习概论1.1 统计学习第一章：统计学习及监督学习概论1.1 统计学习统计学习的特点统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测分析的学科。统计学习的主要特点： a. 建立在计算机与网络上的； b. 以数据为研究对象； c. 目的是对数据进行预测与分析； d. 以方法为中心，构建模型； e. 涉及概率论、统计学、计算机等的交叉学科对象：统计学习研究的对象是数据 (data)

Selecting good features – Part II: linear models and regularization在我之前的文章中，我讨论了单变量特征选择，其中每个特征都是根据响应变量独立评估的。另一种流行的方法是利用机器学习模型进行特征排序。许多机器学习模型要么具有一些固有的特征内部排序，要么很容易根据模型的结构生成排序。这适用于回归模型、支持向量机、决策树、随机森林等。...

Python机器学习及实践——基础篇：无监督学习经典模型（特征降维）特征降维不仅可以重构有效的低维度特征向量，同时也为数据展现提供了可能。在特征降维的方法种，主成分分析（Principal Component Analysis, PCA）是最为经典和实用的特征降维技术，特别是辅助图像识别方法有突出的表现。1.主成分分析线性相关矩阵秩计算样例import numpy as np...

基于用户的协同过滤原文链接：https://www.jianshu.com/p/e56665c54df8一、基于用户的协同过滤我们经常会找身边的朋友给我们推荐电影、电视剧，我们会发现一个规律，跟我们兴趣类似的人，推荐的往往比较符合我们口味。其实这就是基于用户的协同过滤。基于领域的协同过滤算法主要有两种，一种是基于物品的，一种是基于用户的。所谓基于物品，就是用户喜欢了X商品，我们...

Python机器学习及实践——进阶篇：流行库/模型实践1.自然语言处理包（NLTK）使用词袋法（Bag-of-Words）对示例文本进行特征向量化# 使用词袋法对示例文本进行特征向量化sent1 = 'The cat is walking in the bedroom.'sent2 = 'A dog was running across the kinchen.'from s...

机器学习问题中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时，常使用`余弦相似度`来表示。余弦相似度的取值范围为[ -1, 1 ]，相同的两个向量之间的相似度为1，将1减去余弦相似度即为`余弦距离`。因此，余弦距离的取值范围为[0, 2]，相同的两个向量余弦距离为0。...

集成学习与随机森林统计学的一个重要组成部分——统计推断（通过假设，验证进行分析处理），即通过实验的数据得出新的科学见解，而机器学习就是一种智能的数据挖掘技术，它依据先验的知识建立预测模型来识别大数据中的有用信息，广泛地用于数据拟合，数据分类，优化参数等实验数据的处理上。个体与集成集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，也被称为多分类器系统（m...