自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Python,数据分析,机器学习,深度学习

Yesterday is history. Tomorrow is a mystery. Only today is a gift, This's why we call it present.

  • 博客(157)
  • 资源 (3)
  • 收藏
  • 关注

原创 Python绘制热力图

最近投SCI论文的时候,有些实验结果需要热力图展示,所以专门试了一下如何用python绘制热力图,发现简单好用,下面分享给大家具体方法。

2024-02-04 09:54:34 2139

原创 统计数据集句子长度信息

在文本分类任务做科研写论文的时候,我们有时候需要对对数据集的大小进行分析,如果你想统计CSV文件中某一列英语句子的单词个数(不包含标题),可以使用Python的split()函数将句子拆分为单词,并计算单词的个数,具体实现代码和结果分析如下。

2024-01-09 09:32:21 526

原创 如何在Github上快速下载代码

这些方法中的任何一个都能让你快速下载 GitHub 上的项目代码。选择其中一个方法根据你的喜好和需求,我一般网速比较好的时候是选择第一种,如果第一种下载存在困难,则第二种是最佳选择。上述路径选择,cd 后面是你想要保存下载文件的具体路径,当然,还有一种方法是直接在你要存储的文件夹右键然后选择Open Git bash here。4. 在 GitHub 项目页面中,点击 “Code” 按钮,并复制项目的 URL。我们发现执行该命令后,Git 将会将代码库中的内容下载到你刚才指定的文件夹中。

2024-01-08 14:03:39 10555 1

原创 通过cpolar在公网访问本地网站

通过cpolar可以轻松将本地网址映射到公网进行访问,下面简要介绍一下实现步骤。

2024-01-05 11:14:46 1296

原创 再见2023,你好2024(附新年烟花python实现)

坦白说,有时候我觉得自己好像是在时间的漩涡中被席卷着,努力地追逐着每一个梦想,却又无法把握住每一刻的风景。我意识到,我需要给自己留出一些时间来回首过去,反思成长,并重新调整自己的目标与方向。你们的鼓励和反馈是我前进的动力,是我坚持不断学习和成长的源泉。2023年的最后时刻,我希望你们也能找到属于自己的答案,找到自己激情的源泉。无论是过去的成就还是未来的挑战,都是值得被铭记的一部分,让我们珍惜每一次成长的机会。

2023-12-29 15:29:40 7559 16

原创 本地部署多语言代码生成模型CodeGeeX2

CodeGeeX2 是多语言代码生成模型CodeGeeXKDD’23) 的第二代模型。CodeGeeX2 基于ChatGLM2架构加入代码预训练实现,得益于 ChatGLM2 的更优性能,CodeGeeX2 在多项指标上取得性能提升(+107% > CodeGeeX;更强大的代码能力:基于 ChatGLM2-6B 基座语言模型,CodeGeeX2-6B 进一步经过了 600B 代码数据预训练,相比一代模型,在代码能力上全面提升,

2023-10-11 19:28:53 3198

原创 通义千问本地部署

*通义千问-14B(Qwen-14B)**是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-14B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-14B-Chat。本仓库为Qwen-14B-Chat的Int4量化模型的仓库。如果您想了解更多关于通义千问-14B开源模型的细节,我们建议您参阅。

2023-10-08 09:36:21 6126 6

原创 使用Git下载大语言模型

在下载Huggingface和ModelScope上面的大语言预训练模型的时候,经常会因为网页无法访问或者文件太大无法下载的情况,是大家常常比较苦恼的事情,下面给出用Git下载模型到本地的方法,可以轻松解决上述问题。

2023-09-27 14:31:18 3914

原创 Baichuan2大模型本地部署

我们在和六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。在通用领域我们在以下数据集上进行了 5-shot 测试。推理所需的模型权重、源码、配置已发布在 Hugging Face,下载链接见本文档最开始的表格。我们在此示范多种推理方式。程序会自动从 Hugging Face 下载所需资源。>>> messages.append({"role": "user", "content": "解释一下“温故而知新”"})"温故而知新"是一句中国古代的成语,出自《论语·为政》篇。

2023-09-21 22:50:08 6893 6

原创 Windows10更新CUDA

更新CUDA版本有几个主要原因:性能优化:新版本的CUDA通常会包含针对最新GPU架构的优化,这些优化可以提升GPU的计算性能,使得你的应用程序能够更快地运行。新功能支持:更新CUDA版本可以获得新功能的支持,这些功能可能会提供更方便、更高效的编程模型,以及更丰富的GPU计算功能。这些新功能可以帮助你开发更强大和更复杂的应用程序。错误修复和稳定性改进:每个CUDA版本都会包含错误修复和稳定性改进,这些修复和改进可以提升CUDA的可靠性和稳定性。

2023-09-20 11:58:53 2822 3

原创 将PyCharm中的终端运行前面的PS修改成当前环境

最近使用Pycharm中的Terminal来pip安装一些pakage,发现Terminal运行前面的显示的是PS,然后输入安装指令报错。“python无法将“pip”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。重启之后,发现进入Terminal显示默认在虚拟环境中,成功解决问题。3.将shell path的位置改为cmd.exe;1.打开pycharm中的settings;2.找到Terminal选项;5.重启pycharm即可。

2023-09-08 22:22:43 1788 1

原创 轻松搭建本地知识库的ChatGLM2-6B

近期发现了一个项目,它的前身是ChatGLM,在我之前的博客中有关于ChatGLM的部署过程,本项目在前者基础上进行了优化,可以基于当前主流的LLM模型和庞大的知识库,实现本地部署自己的ChatGPT,并可结合自己的知识对模型进行微调,让问答中包含自己上传的知识。依托于本项目支持的开源 LLM 与 Embedding 模型,本项目可实现全部使用模型。与此同时,本项目也支持 OpenAI GPT API 的调用,并将在后续持续扩充对各类模型及模型 API 的接入。

2023-09-08 15:20:41 4279 4

原创 GPU版本pytorch(Cuda12.1)安装教程

我们通过Pytorch官网安装torch的时候,会发现常常由于网速问题安装不成功,下面提供一种简单的方法可以成功安装Cuda12.1,亲测有效。如上图所示,pytorch(Cuda12.1)安装成功!添加清华源可以实现网络加速,大幅度提升安装的成功率。会发现安装速度非常慢,而且很容易失败。2.1 创建并激活虚拟环境。2.3 安装torch。

2023-08-25 22:12:32 4838 1

原创 对比学习在NLP中应用全面解读

对比学习(Contrastive Learning)在自然语言处理(NLP)中具有广泛的应用。对比学习是一种无监督学习方法,旨在将相似样本聚集在一起,并将不相似样本分开。在NLP中,对比学习的目标是学习出具有语义相似性的向量表示。以下是对比学习在NLP中的一些常见应用:文本相似度计算:对比学习可以学习将语义上相似的文本对映射到相近的向量空间中。通过计算文本对之间的相似度,可以用于文本匹配、重述检测、问答系统、信息检索等任务。

2023-08-22 12:11:49 2707 3

原创 Zotero+坚果云解决存储空间不足

Zotero实现同步有三种思路:①zotero自带同步(文件同步方式选择Zotero);②zotfile+坚果云网盘同步;③zotero选项勾选文件同步+坚果云同步。由于第一种只有300M使用空间,使用一段时间就会提示存储空间不足,而且想付费扩展空间操作比较繁琐,亲测采用第三种方式是比较好的选择。

2023-08-08 12:13:55 2877

原创 完美解决win10系统cmd命令无法使用ssh

最近我在远程访问服务器的时候,在win+R运行cmd的时候,输入ssh来获得本地和服务器映射,无法实现。提示:’SSH’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

2023-07-12 18:27:57 2468

原创 服务器上的Notebook在本地运行

3090TI的服务器,用的是Ubuntu系统,在使用的时候,如何让服务器资源在本地的JupyterNotebook运行呢?一、在3090TI服务器上指定一个特定的访问端口1. 在服务器上指定一个特定的访问端口一般我们配置好 jupyter notebook 之后,启动的时候只需要使用命令。

2023-07-12 10:57:25 863

原创 Ubuntu下载速度过慢解决

今天用Ubuntu下载Roberta文件到本地,速度特别慢,Ubuntu 系统自带的源文件,都是国外的源网址,在国内下载安装升级源或者依赖的时候,都比较慢,更换国内的源地址,轻松搞定此问题。

2023-06-19 23:00:32 3357 1

原创 快速解决Github无法访问的问题

Github访问慢,是困扰很多人的问题,今天就出一个解决方案,按照下面思路,可以实现快速访问Github,来查看我们需要的资源。

2023-06-16 20:27:18 4349 3

原创 数据增强在文本分类任务中的应用

我主要采用两种对比方法,一种是Roberta+数据增强(随机替换、删除、插入、交换);另一种是Roberta+数据增强(随机替换、删除、插入),然后经过对比使用,查看具体效果。数据增强(Data augmentation)这是自然语言处理(NLP)中的一个重要技术,用于增强数据集的多样性和数量,以改善模型的泛化性能和鲁棒性。可以看到效果不是很好,还没有数据增强之前好,原因分析可能是数据增强的方法过多,产生过多干扰样本,影响分类结果。一、 Roberta+数据增强(随机替换、删除、插入、交换)

2023-06-14 23:31:54 844

原创 浅谈数据增强

数据增强是一种有效的方式,可以通过扩充训练集,来提高模型的泛化能力和鲁棒性。

2023-06-13 23:36:13 388

原创 Robert+Prompt+对比学习+对抗训练文本分类

至此,我们已经成功地训练了一款基于RoBERTa模型的文本分类器。下面是加入融合技术的实现。

2023-06-12 20:39:59 2129 7

原创 对比学习+Prompt+FGSM实现文本分类

这段代码定义了一个文本分类模型TextClassificationModel。该模型接受三个参数:model_name表示预训练模型的名称,num_labels表示分类任务的类别数,use_contrastive_learning表示是否使用对比学习进行数据增强,use_prompt表示是否使用提示进行分类。在__init__方法中,首先根据model_name加载预训练模型的配置文件,并设置num_labels为分类任务的类别数。

2023-06-10 11:02:06 1095

原创 对偶对比学习方法在文本分类任务中的应用

对偶对比学习(Dual Contrastive Learning,DCL)是一种新兴的自监督学习方法,它可以用于学习文本的表示。与传统的对比学习方法不同,DCL使用对偶性原理,将正样本和负样本的对比学习转化为两个对称的任务,从而提高了模型的性能。在文本分类任务中,DCL可以用于学习文本的表示,从而提高分类的准确性。具体来说,DCL使用两个对称的任务来学习文本的表示:正样本任务和负样本任务。在正样本任务中,DCL将同一篇文本的不同片段作为正样本,将其他文本的任意片段作为负样本,从而学习文本的表示。

2023-06-10 10:09:37 785

原创 Robert+SimCLR+PGD实现文本分类

定义模型# 定义模型和对抗训练# 对抗训练adv_input_ids = input_ids.detach() # 分离输入以保持梯度不变# 创建PGD攻击器eps=0.3,# 对输入进行攻击# 计算对抗损失# 原始训练# 总损失为原始损失和对抗损失之和return accreturn acc。

2023-06-09 16:38:53 1143

原创 Robert+SimCLR+FGSM实现文本分类

我们选择使用RoBERTa作为文本分类模型,RoBERTa是BERT的改进版,它在BERT的基础上做了一些改进,例如使用更大的训练数据、使用更长的训练时间、去掉了NSP任务等。在训练函数中,我们首先定义了两个数据增强函数,分别为随机掩码和随机替换。随机掩码是将输入文本中的一些单词随机替换成掩码,随机替换是将输入文本中的一些单词随机替换成其他单词。这两个数据增强函数将用于生成SimCLR中的两个样本。然后我们定义了对抗训练中使用的FGM攻击函数和训练函数。

2023-06-09 14:40:47 1019

原创 ChatGPT 的实现原理和核心代码

GPT 模型是一种基于 Transformer 的语言模型,可以生成符合上下文语境的文本。在预训练阶段,GPT 模型使用大量的文本数据进行训练,学习到了丰富的语言知识。在微调阶段,我们可以使用对话数据对 GPT 模型进行微调,以使其生成符合对话场景的文本。ChatGPT 是一种基于 GPT 模型的对话生成模型,其原理是在预训练的 GPT 模型基础上,使用对话数据进行微调,以生成符合对话场景的文本。,并将其移动到 GPU 上。接着使用模型计算损失并反向传播,以微调模型。这个函数使用模型和分词器生成对话文本。

2023-06-07 14:46:22 5335 1

原创 Bert+FGSM中文文本分类

接下来,它使用torch.max()和torch.min()函数将张量X中的元素限制在下限和上限之间,并返回截断后的张量。需要注意的是,该函数中使用了clone().detach()方法来复制构造一个新的张量,这是为了避免在函数中修改原始张量X。同时,该函数中使用了X.device来将下限和上限张量分配给与X相同的设备,这是为了保证在不同设备上运行时代码的兼容性。这段代码实现了一个张量的截断操作,即将张量X中的元素限制在一个上下限范围内,返回截断后的张量。中的实现思路,下面开始记录下来具体实验代码。

2023-06-05 15:34:29 781 1

原创 Bert+FGSM/PGD实现中文文本分类(Loss=0.5L1+0.5L2)

这段代码的主要作用是创建一个用于文本分类的 BERT 模型,并初始化优化器和损失函数。其中: BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=10) 加载了预训练的 BERT 模型,并创建了一个用于文本分类的 BERT 模型。其中,'bert-base-chinese' 表示使用中文 BERT 模型,num_labels=10 表示模型的输出类别数为 10。

2023-06-05 14:14:53 525 1

原创 Bert+对抗训练+对抗性样本防御的文本分类实战

我们用Bert实现对THUCNews文本分类,在embdedding使用FGSM添加干扰实现对抗训练,并且考虑对抗性样本的防御,代码实现并进行逐行注释,使用pytorch实现。

2023-05-27 14:28:19 1096 1

原创 基于Bert+对抗训练的文本分类实现

由于Bert的强大,它文本分类取得了非常好的效果,而通过对抗训练提升模型的鲁棒性是一个非常有研究意义的方向,下面将通过代码实战与大家一起探讨交流对抗训练在Bert文本分类领域的应用。

2023-05-26 16:14:02 1180 3

原创 TextCNN文本分类

本文主要介绍TextCNN文本分类,主要从TextCNN的原理的Pytorch实现来逐步讲解。主要思想来自论文《Convolutional Neural Networks for Sentence Classification(EMNLP2014)

2023-05-22 00:35:25 913 2

原创 《Fast Gradient Projection Method for Text Adversary Generation and Adversarial Training》论文学习笔记

最近在学习对抗学习在方面的论文,对抗训练在提高深度神经网络对图像分类的鲁棒性方面表现出了有效性和高效性。然而,对于文本分类,。此外,现有的文本攻击方法虽然有效,但效率还不足以应用于实际的文本对抗训练。在这项工作中,我们提出了一种快速梯度投影方法( FGPM )来生成基于同义词替换的文本对抗样本,其中每个替换都是由原始词和候选词在梯度方向上的投影距离和梯度大小的乘积来评分的。实证评估表明,与竞争攻击基线相比,。

2023-05-16 23:09:13 246

原创 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.

这是很危险的,因为它可能会降低性能或者导致不正确的结果。最好的办法是确保只有一个OpenMP运行时被链接到程序中,例如,避免在任何库中静态链接OpenMP运行时。作为一个不安全的、不被支持的、没有记录的变通方法,你可以设置环境变量KMP_DUPLICATE_LIB_OK=TRUE来允许程序继续执行,但是这可能会导致崩溃或者默默地产生不正确的结果。从翻译结果看,报错的主要原因是OpenMP运行时的多个副本已经被链接到程序中,它可能会降低性能或者导致不正确的结果。

2023-05-12 15:58:05 1133

原创 win系统使用macOS系统

最近 win 系统和 ubuntu 系统用的久了,想用一下 MacOS 系统,于是去网上查了相关资料,发现用一款叫 NEXUS 的软件可以实现在 windows 系统体验效果,现把教程记录下来,供大家使用。

2023-05-05 14:29:48 1549 1

原创 【MiniGPT-4】手把手教部署

最近MiniGPT4开源了,获得了很多网友好评,在Github上获得了1.6万的star,它相比ChatGPT3.5来说,可以实现图片识别,生成想要的文本效果,理解能力非常强。论文地址:https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf论文主页:https://minigpt-4.github.io/代码地址:https://github.com/Vision-CAIR/MiniGPT-4。

2023-04-27 23:06:20 4025 13

原创 【Anaconda】更换清华源实现pip提速

Anaconda用pip安装package时,经常会遇到安装过慢或安装失败的情况,使用以下方法,可以实现package的快速安装。

2023-04-26 10:56:37 951 1

原创 【科研工具】Zotero实现自动翻译

科研党基本都用过Zotero吧,方便文件管理和做笔记。我常使用的一款插件,可以实现paper英文内容的自动翻译为中文,非常简单、好用,现推荐给大家。

2023-04-20 10:58:31 11200 11

原创 ChatGPT最强对手Claude使用教程

Cladue最近很火,作为ChatGPT4的平替版,它无需付费,使用方便,很多网友通过效果对比,发现它的性能要好于ChatGPT3.5,可以媲美ChatGPT4。最主要是使用很方便,十分钟就可以轻松部署,下面记录一下自己的使用历程,希望能给大家一点帮助。

2023-04-17 09:46:41 14113 13

原创 python实现关系抽取的远程监督算法

这个方法会先通过nltk库提供的命名实体识别(NER)工具抽取人名实体,然后将其转换为名词形式。最后,如果该人名在实体关系字典中出现,则将其和关联的地点实体作为一个实体对返回。然后,我们需要先将知识库中的实体关系提取出来,并将其存储为一个字典。该方法的输入是抽取的实体对和待标注的文本数据集。输出是将文本数据转换为的特征向量和相应的标签。该方法的输入是待预测的文本数据、训练好的分类器和特征向量转换器。输出是预测出的实体对及其关系。最后,我们可以使用训练好的分类器对新的数据进行预测。

2023-04-14 23:39:44 1054 2

ChatGPT开源代码,可以快速实现本地部署

最近有个超级好玩的Github开源代码分享给大家,可以实现直接在本地电脑上运行GPT,且对本地机器性能没有太高的要求。改开源项目可以实现给机器人对话,获得想要的内容,亲测好用!ChatGPT是一个自然语言处理技术,它的功能非常强大,可以用于许多不同的应用场景。 首先,ChatGPT可以用于创建与用户进行对话的聊天机器人。它可以理解用户的输入,并根据预先训练的模型生成自然流畅的回答。 其次,ChatGPT可以用于创建与用户进行对话的虚拟代理或虚拟化身。它可以根据用户的输入生成自然语言响应,并可以进行微调以回答特定类型的问题,例如与特定领域或主题相关的问题。 此外,ChatGPT还可以用于创建文本生成工具。它可以根据输入数据生成类似人类的文本响应,并且具有很高的准确性和可读性。 总的来说,ChatGPT是一个功能强大的自然语言处理技术,可以用于许多不同的应用场景,例如智能客服、智能助手、自然语言生成等。 博客链接:https://blog.csdn.net/weixin_43734080/article/details/129971702?spm=1001.2014.3001.5501

2023-04-18

cips2021.pdf

NLP,AI,自然语言处理

2021-12-28

PDF转换器,用于PDF转换为各种需要的格式

PDF转换器,用于PDF转换为各种需要的格式

2021-06-27

四级人工智能自然语言处理与识别方向(2020年版试行考纲)模拟卷.pdf

2020年上海市高等学校信息技术水平考试(四级人工智能)

2021-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除