hanliu2003的博客

在这个例子中，它移除了 text 和 label 列，因为 text 列已经被处理为模型的输入，而 label 列不再需要，因为咱们是完形填空任务，不需要标签。这个方法会对数据集中的每个样本应用指定的函数，并返回一个新的数据集，其中包含应用函数后的结果。这个属性通常用于序列标注任务，以确保输入的长度不超过模型的最大接受长度。这个参数通常用于处理过长的输入序列，以便将其分割成多个小块，然后分别处理这些小块。可以看到结果和上面的通用的不一样了，这里是film movie这些针对你的训练数据的了--------

定义一个自定义数据集类，用于命名实体识别（NER）任务# 初始化方法，接收两个参数：encodings 和 labels# encodings 是从 tokenizer 生成的字典，包含输入序列的各种特征# labels 是原始的标签列表，每个标签列表对应一个文档# 定义一个特殊方法，用于从数据集中获取单个样本# 它接受一个索引 idx，并返回一个字典，包含编码后的特征和标签# 定义一个特殊方法，用于返回数据集中样本的数量# 在这个类中，样本的数量与 labels 的长度相同。

在这个例子中，标签的值类型是ClassLabel，它是一个特殊的类型，表示分类特征，并且具有一个名为names的属性，它是一个列表，包含了标签的可能值（在这个例子中是[‘not_equivalent’, ‘equivalent’]）。'attention_mask中为1的是 作attention的时候要去算的，为1的就是要去算的，为0就是不去算的，比如第二句话后面补0的都是没意义的，所以没必要算。在某些情况下，这可能是有用的，比如当警告信息对当前任务不重要，或者在调试过程中想要忽略特定的警告。

这段代码创建了一个新的pandas DataFrame，其中包含一个名为’content_S’的列，该列存储了之前通过jieba分词处理后的文本内容。下面这段代码的目的是统计文本中每个非停用词的出现次数，并按照出现次数从高到低进行排序，最后查看出现次数最多的几个词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。导入LDA 模块，语料传进来，映射字典传进来，指定的主题值越准越好 ，因为是无监督的，所以要自己指定。（晚上有些现成的词表可以下载）

2.在Docker安装目录（Windows下默认为C:\Program Files\Docker\Docker\frontend\resources）找到app.asar文件并将其备份，防止出现意外。于是我改成了绝对路径H:\develop\NLP\Modelinstall\pytorhModel\deploy-pytorch-model-master\imagenet_class.txt 报错。然后进入这个镜像，从Registry中拉取镜像复制命令，然后去查看版本号，就可以用命令拉取镜像了。

下面是设置种子，我们在训练模型的时候，很多时候咱们是做一个随机初始化但是现在遇到一个问题，我调参后参数变了，但是我初始化的权重也变了，那么测试后的结果，到底是因为你参数导致的，还是因为你的权重参数初始化好导致的会说不清楚，这时候设置个随机种子，但是每次随机结果都是固定的，所以我们要设置个随机种子。timesnet 就是一共有t个点，每个点有c个特征，原始的一个 1D时间序列就可以表示成 t 乘c的 一个矩阵，要想考虑我们周期性的变换，我们需要先得一个周期是多少，通过傅立叶变换来分析。

生成式AI的基础学习。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

一些深度学习的简单概念和Transformer的学习。

pytorch 的安装，配环境以及Copilot的修改。