wangzaojun-CSDN博客

原创大模型的智能化提升：从理解力、泛化能力到适应性

通过不断探索和开发新的算法，确保训练数据的高质量和多样性，以及设计更高效的模型架构，可以有效提升大模型的理解力、泛化能力和适应性。未来，随着技术的不断进步，大模型将在更广泛的领域中发挥更大的作用，为人类社会的发展带来更多的可能性和机遇。1. **自监督学习**：通过自监督学习，模型可以从未标注的数据中自动生成训练信号，从而在大规模无标签数据上进行训练，提升模型的理解力和泛化能力。设计更高效的模型架构，可以支持更复杂的任务和更深层次的学习能力，提升大模型的智能化水平。数据是训练大模型的基础。

2024-05-23 08:18:47 271 1

原创使用Nelder-Mead方法在深度学习中的超参数优化

相比于传统的贝叶斯优化和CMA-ES（Covariance Matrix Adaptation Evolution Strategy）等方法，Nelder-Mead方法更加简单，易于实现，且在多个深度学习任务中表现出色。研究了在深度学习中使用Nelder-Mead方法进行超参数优化，比较了该方法与随机搜索、贝叶斯优化和协方差矩阵适应进化策略（CMA-ES）等常用方法在不同任务中的性能。结果表明，Nelder-Mead方法在超参数优化中表现出色，尤其在计算资源有限的情况下具有显著优势。

2024-05-15 22:01:51 301

原创 BERT模型

在BERT出现之前，大多数NLP模型使用的是单向的语言模型（如LSTM或GRU），它们只能从左到右（或从右到左）处理文本。掩码语言模型（Masked Language Model, MLM）：在预训练过程中，BERT会随机掩盖输入文本中的一些单词，并要求模型根据上下文预测被掩盖的单词。BERT是NLP领域的一个重要突破，它通过双向Transformer架构和强大的预训练机制，在许多任务上取得了显著的性能提升。迁移学习：通过预训练和微调，可以在不同任务上取得很好的性能。2. Transformer架构。

2024-05-15 16:07:53 470

原创基于LSTM网络的谣言检测

数据准备收集和预处理数据：您需要一组标记的数据集，其中包含真实信息和谣言信息。数据预处理可能包括清洗文本、分词、去除停用词等步骤。设计LSTM模型设计一个适用于文本处理的LSTM模型。通常包括嵌入层（用于将单词转换为向量），一个或多个LSTM层以及一个输出层（用于分类）。模型训练使用训练数据集来训练模型。这一步骤包括设置适当的损失函数和优化器，以及定义训练的周期和批次大小。评估与调整使用验证集和测试集评估模型的性能。根据需要调整模型参数或结构，以提高准确率和减少过拟合。实验总结。

2024-04-30 21:18:52 337

原创融合区块链与人工智能技术的数据隐私保护研究

在当今数字化社会中，数据隐私保护至关重要，同时区块链和人工智能技术的兴起为解决数据隐私问题提供了新的机遇。大量研究表明，区块链和人工智能技术的整合有效地加强了数据隐私，包括区块链的去中心化性质、智能合约的实际应用，以及隐私算法和数据共享技术在人工智能中的关键作用。区块链和人工智能的融合不仅有望加强数据隐私，而且在充满不断变化的隐私挑战的时代成为希望的灯塔。这种集成不仅利用了区块链的去中心化结构和不可变特性，还利用了人工智能以隐私为中心的算法和数据共享能力，以提供全面而强大的数据隐私解决方案。

2024-04-30 21:13:19 1083 1

原创 NLP实践—基于PCFG实现CYK算法

CYK算法即Cocke–Younger–Kasami算法，是一种上下文无关文法的句法分析算法，采用了动态规划的思想，通过合理的构造决策表减少计算复杂度。PCFG（ Probabilistic Context Free Grammar ）是基于概率的短语结构分析方法，是目前研究最为充分、形式最为简单的统计句法分析模型，也可以认为是规则方法与统计方法的结合。PCFG是上下文无关文法的扩展，是一种生成式的方法，其短语结构文法可以表示为一个五元组(X，V，S，R，P)。V 是一个有限标注的集合，称为非终结符集合；

2024-03-21 09:20:33 445 1

原创 NLP实践—第1关：词性标注

在自然语言分析中，机器需要模拟理解语言。为了实现这一点，自然语言处理过程中必须在一定程度上能够了解自然语言的规则。首先需要理解的是词，特别是每一个词的性质，判断它是一个名词还是一个形容词？如果它是一个动词的屈折形式，那么它的不定形式是什么，以及该屈折形式使用了什么对应的时态、人称和数？这个任务被称为词性标注。词性标注的目标是用一个单独的标签标记每一个词，该标签表示了用法和其句法作用，比如名词、动词、形容词等。词性标注的正确与否将会直接影响到后续的句法分析、语义分析，它是中文信息处理的基础性课题之一。

2024-03-21 08:27:56 964 1

原创 Vision Transformer（ViT）模型及其在图像分类任务中的应用

Vision Transformer在图像分类任务中的应用标志着从局部聚焦的CNN到全局信息处理的转变，这在图像理解和分析中打开了新的可能性。由于其独特的结构和处理方式，ViT在处理复杂和多样化的图像数据方面显示出显著的优势。总体而言，这项实验展示了Vision Transformer在猫狗图像分类任务上的有效性和潜力，同时也揭示了其在数据和计算资源方面的一些局限性。未来的研究可以在这些发现的基础上进行，以实现更广泛的应用和更优的性能。2. Vision Transformer模型的结构和原理。

2023-12-20 11:31:21 2426

原创基于CNN的FashionMNIST分类

本次实验中，CNN对FashionMNIST数据集的分类准确率达到91%，显示了CNN在图像特征提取方面的有效性。训练过程中采用80%的数据进行训练，剩余20%作为验证数据集，以监控模型的泛化能力。模型在测试集上的准确率达到约91%。数据预处理包括将图像转换为张量，同时进行归一化处理以将像素值缩放到0和1之间，目的是加快模型的收敛速度并减少梯度消失或爆炸的可能性。通过混淆矩阵的分析，发现模型在某些类别（如T恤和衬衫）上有较高的准确性，而在其他一些容易混淆的类别（如裙子和外套）上则准确度较低。

2023-12-19 09:13:25 2013 1

原创基于LSTM的FashionMNIST分类

整体而言，实验结果表明LSTM模型在FashionMNIST图像分类任务上具有良好的表现。虽然LSTM主要用于序列数据，但其在图像分类任务上的应用也显示了可行性和有效性。FashionMNIST是一个流行的服装分类数据集，包括10种不同类别的服装图像。本实验旨在探究长短期记忆网络（LSTM）在图像分类任务中的应用效果。虽然LSTM常用于处理序列数据，本实验将探索其在非典型应用场景（如图像分类）中的表现。每个样本是一个28x28的灰度图像，代表10种不同类型的服装。迭代次数（Epochs）

2023-12-19 09:12:00 1609 1

原创基于DCGAN的手写数字生成

DCGAN是将CNN与GAN的一种结合，这是第一次在GAN中使用卷积神经网络并取得了非常好的结果，弥合CNN在监督学习和无监督学习之间的差距，其将卷积网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果。生成的图像在视觉上是逼真的，它们展示了手写数字的特征。我们可以看到，生成器（绿色曲线）的损失逐渐下降，而鉴别器（蓝色曲线）的损失也在下降，这表明GAN在训练过程中逐渐收敛。生成器试图生成逼真的图像，以愚弄鉴别器，而鉴别器试图准确分类真实图像和生成图像。

2023-12-08 15:10:58 1147

原创 [编程入门]三个数最大值

题目描述编写一个程序，输入a、b、c三个值，输出其中最大值。输入一行数组，分别为a b c，输出a b c其中最大的数。的变量并将其初始化为0。这个变量将用于存储找到的最大值。样例：输入10 20 30，样例输出30。

2023-11-15 00:07:10 177

原创基于深度学习的图像风格转换算法的研究和实现

本论文介绍了图像风格转换的概念和背景，并深入研究了基于深度学习的图像风格转换算法。我们将详细介绍算法的核心原理、网络架构、损失函数以及实验结果。此外，我们还探讨了不同算法的性能和应用领域。通过实际实验和比较，我们将展示不同算法之间的差异和优劣，以及它们在艺术创作和图像编辑中的潜在应用。2.3 基于生成对抗网络（GAN）的风格迁移。2.1 卷积神经网络（CNN）与风格迁移。2.2 Gatys等人的风格迁移算法。5.1 艺术创作与图像编辑。1.1 图像风格与内容。4.2 实验结果与分析。5.2 潜在应用领域。

2023-11-13 10:41:48 463

原创 pytroch实现mnist手写数字识别实验

pytroch实现mnist手写数字识别实验。

2023-09-26 22:11:21 365

m0_66504204的博客