大表哥汽车人
汽车行业闲散人员,喜欢玩荒野大镖客,现在玩博德之门3了
展开
-
【通义千问】大模型Qwen GitHub开源工程学习笔记(1)-- 使用指南、依赖库和软件
9月25日,阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。官方的技术资料也下载了,看这里==>立马就到了GitHub去fork。原创 2023-09-26 15:27:56 · 3309 阅读 · 0 评论 -
【llama3.1】ollama的使用--本地部署使用llama3.1模型
安装完成ollama后,在命令行窗口输入上图表示 Ollama 正在下载llama3任务所需的资源文件,并显示了当前的下载进度、速度和预计剩余时间。这是 Ollama 在准备运行llama3任务之前所需的步骤。原创 2024-07-24 23:18:28 · 466 阅读 · 0 评论 -
【llama3.1】Ollama 下载安装指南
以上就是在 Windows 系统上下载和安装 Ollama 的详细步骤。希望这篇指南能帮助你顺利安装并开始使用 Ollama。如果你在安装过程中遇到任何问题,欢迎在评论区留言,我们会尽快帮助你解决。原创 2024-07-24 22:57:24 · 1828 阅读 · 0 评论 -
【模型参数微调】最先进的参数高效微调 (PEFT) 方法
由于大型预训练模型的规模,微调大型预训练模型的成本通常高得令人望而却步。参数高效微调 (PEFT) 方法只需微调少量(额外)模型参数而不是所有模型参数,即可使大型预训练模型有效地适应各种下游应用。这大大降低了计算和存储成本。最近最先进的PEFT技术实现了与完全微调的模型相当的性能。PEFT 与 Transformers 集成,可轻松进行模型训练和推理,与 Diffusers 集成,方便地管理不同的适配器,与 Accelerate 集成,用于大型模型的分布式训练和推理。查看 PEFT 适配器 API 参考部分原创 2024-06-02 21:51:11 · 274 阅读 · 4 评论 -
【DeepL】菜鸟教程:如何申请DeepL免费API并使用Python的DeepL
DeepL是一个基于人工智能的翻译服务,它以其出色的翻译质量和对语境的深入理解而著称。与其他翻译服务相比,DeepL能够提供更加自然、准确的翻译结果,这得益于其先进的深度学习技术和庞大的训练数据集。原创 2024-04-30 22:36:38 · 5611 阅读 · 0 评论 -
【人工智能】模型的部署简介
首先,选择适合你需求的部署方式,比如将模型部署到服务器、移动设备、边缘设备或云端等。在训练完成后,需要将训练好的模型导出为适合部署的格式,比如TensorFlow的SavedModel格式或PyTorch的torchscript格式。将导出的模型集成到你的应用程序中,确保应用程序能够加载和使用这个模型。针对部署环境进行模型优化,包括模型大小、推理速度等方面的优化,以确保模型在部署环境中能够高效运行。根据选择的部署方式,将优化后的模型部署到目标设备或平台上,并确保部署过程顺利进行。原创 2024-03-03 23:58:32 · 214 阅读 · 2 评论 -
【人工智能】DeepLearning学习路线及简要说明
在卷积神经网络(CNN)的发展历程中,AlexNet、VGGNet、GoogLeNet(Inception)、和ResNet都是具有里程碑意义的模型,它们分别代表了深度学习和计算机视觉领域的重大进展。它通过并行不同尺寸的卷积操作和池化操作,然后将它们的输出合并,这样做既可以捕捉到不同尺度的信息,又能保持计算资源的高效利用。它通常用于特征学习、降维、去噪等任务。自动编码器的目标是能够通过学习到的表示(编码)来重构输入数据,而这一过程通常涉及到两个主要部分:编码器(Encoder)和解码器(Decoder)。原创 2024-03-03 23:27:52 · 145 阅读 · 0 评论 -
【自然语言处理-工具篇】spaCy<2>--模型的使用
本文介绍了spaCy库的使用,其中包括下载、加载和使用模型的步骤,以及从源代码编译和运行测试的方法。感兴趣的小伙伴,记得三连,后续会发系列文章。原创 2024-02-08 17:22:40 · 1023 阅读 · 7 评论 -
【自然语言处理-工具篇】spaCy<1>--介绍及安装指南
spaCy是一个开源的自然语言处理库,用于处理和分析文本数据。它提供了许多功能,包括分词、词性标注、命名实体识别、依存句法分析等。spaCy被广泛应用于各种NLP任务,如信息提取、文本分类、命名实体识别等。它的速度快、易用性高,因此受到很多研究人员和开发者的青睐。如果你想处理文本数据、进行自然语言处理任务,spaCy是一个非常强大的工具。原创 2024-02-06 22:08:14 · 750 阅读 · 0 评论 -
【大语言模型】大型语言模型的数据收集和预处理
虽然使用现有的分词器(例如 GPT-2 中的分词器)可能很方便,但使用针对预训练语料库定制的分词器可能非常有利,特别是对于包含不同领域、语言和格式的语料库。最近的另一项研究表明,较小的模型可以通过更长的训练和更多的数据表现良好。之间的传统权衡由第一次下降表示,其中模型复杂性的增加由于偏差的下降而导致更好地拟合训练数据,但由于偏差的增加而导致与测试数据的拟合更差。先前的研究表明,预训练语料库中存在重复数据会减少语言模型的多样性,可能导致训练过程中的不稳定并对模型的性能产生负面影响。原创 2024-01-27 21:39:25 · 480 阅读 · 3 评论 -
【ChatGPT】利用ChatGPT将图片转换成JSON文件
这是一个将图片通过base64编码生成JSON文件的小技巧,这样我们在建立自己的知识库时,遇到图片可以先将图片生成JSON再喂给GPT就好了!觉得有用的小伙伴记得三连!原创 2024-01-19 22:09:12 · 706 阅读 · 3 评论 -
【AI工具】使用 Whisper ASR 和 Pyannote 进行说话人分类
说话者分离是自动分割和识别音频录音中不同说话者的过程。本文解释了说话者分离的概念以及说话者嵌入在该过程中的关键作用。它还提供了使用Whisper ASR和Pyannote库的实现示例。说话人分类是自动分割和识别音频录音中不同说话人的过程。扬声器二值化的目标是将音频流划分为同构段,其中每个段对应于特定的扬声器或扬声器轮次。换句话说,它的目的是回答“谁在何时说话?”的问题。整个录音过程。说话人嵌入是说话人声音或语音特征的紧凑数字表示。原创 2024-01-14 14:41:53 · 1109 阅读 · 1 评论 -
【通义千问】大模型Qwen GitHub开源工程学习笔记(5)-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】
注意,如果你使用预训练模型进行LoRA微调,而非chat模型,模型的embedding和输出层的参数将被设为可训练的参数。秩分解矩阵可以看作是一种特殊的调料,它可以改变模型的行为,使模型更好地适应新的任务,但并不会改变原有的食材(即预训练模型的权重)。相比之下,LoRA将预训练模型的权重冻结,并在转换器架构的每一层注入可训练的秩分解矩阵。这意味着在这种方法中,原始的预训练权重 W 是固定的,不会在后续的训练过程中进行更新,而是只对 A 和 B 进行训练。在全参数微调中,所有的模型参数都会被重新训练。原创 2024-01-07 23:23:52 · 2547 阅读 · 6 评论 -
【通义千问】大模型Qwen GitHub开源工程学习笔记(2)--使用Qwen进行推理的示例代码解析,及transformers的使用
在这里,使用了`【GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)】`方法,从预训练模型"Qwen/Qwen-7B-Chat"中加载生成配置。在这个代码中,因为我的是3070显卡,因此使用BF16精度,并且通过eval()方法将模型设置为评估模式。注释中提到的"Qwen/Qwen-7B-Chat"和"Qwen/Qwen-14B-Chat"是可选的模型,这意味着你可以根据需求选择不同的预训练模型。原创 2023-09-29 00:09:03 · 2994 阅读 · 2 评论 -
【通义千问】大模型Qwen GitHub开源工程学习笔记(3)-- 通过Qwen预训练语言模型自动完成给定的文本
实例代码展示了如何使用预训练模型完成文本生成任务,例如在这个例子中,根据已知的国家和首都信息,预测未知的首都。原创 2023-09-30 01:09:00 · 2047 阅读 · 0 评论 -
【通义千问】大模型Qwen GitHub开源工程学习笔记(4)-- 模型的量化与离线部署
量化方案基于AutoGPTQ,提供了Int4量化模型,其中包括Qwen-7B-Chat和Qwen-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下,降低存储要求并提高推理速度。量化是指将模型权重和激活的精度降低以节省存储空间并提高推理速度的过程。AutoGPTQ是一种专有量化工具。Int4是指4位整数量化,与传统的8位量化相比,可以进一步减少存储要求。原创 2023-10-13 14:41:45 · 2406 阅读 · 9 评论 -
博客摘录「 阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型」2023年9月26日
魔搭社区模型地址:https://www.modelscope.cn/models/qwen/Qwen-14B-Chat/summaryhttps://www.modelscope.cn/models/qwen/Qwen-14B/summary魔搭社区模型体验:https://modelscope.cn/studios/qwen/Qwen-14B-Chat-Demo/summary阿里云灵积平台地址:https://help.aliyun.com/zh/dashscope/developer-referen原创 2023-09-26 15:13:45 · 188 阅读 · 0 评论 -
如果没有GPU做深度学习,怎么办?Google Colab解决方案
在深度学习中使用 GPU 显着提高了训练深度神经网络的速度和效率,从而能够开发更复杂和精密的模型。GPU特别在深度学习中广泛使用,是因为深度学习算法涉及大量的矩阵操作,并且需要巨大的算力。以上我们成功将tensorflow和PyTorch连接到GPU,并查询到GPU信息,说明我们成功地拥有了这颗叫做Tesla T4的GPU了!如果我们要用SensoFlow 或 PyTorch去建立深度学习模型,要确定是否已经连接到这颗GPU了,那么使用如下代码去确认就好了。GPU的内存---15360MiB。原创 2023-03-26 00:33:10 · 2187 阅读 · 0 评论 -
【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘的解释和处理办法
在尝试将模型文件从 [Hugging Face Model Hub](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) 下载到本地并使用 `from_pretrained` 方法加载本地磁盘上的分词器时,遇到了一个错误。原创 2023-10-08 13:08:42 · 6802 阅读 · 0 评论 -
【Hugging Face】如何从hub中下载文件
huggingface_hub库提供了从存储在Hub上的仓库中下载文件的功能。您可以独立使用这些函数或将它们集成到您自己的库中,使您的用户更方便地与Hub交互。原创 2023-10-07 23:38:37 · 8254 阅读 · 2 评论 -
【HuggingFace Transformers】(StackOverflow问答)使用Huggingface Transformers从磁盘加载预训练模型
一个指向包含分词器所需词汇文件的目录的路径,例如使用 :func:`~transformers.PreTrainedTokenizer.save_pretrained` 方法保存的目录,例如:``./my_model_directory/``。- (不适用于所有派生类,已弃用)仅当分词器仅需要单个词汇文件(例如Bert,XLNet)时,才适用于指向单个保存的词汇文件的路径或URL,例如:``./my_model_directory/vocab.txt``。原创 2023-10-07 00:09:14 · 382 阅读 · 0 评论 -
【HuggingFace Transformers】教程(1)--使用AutoClass加载预训练实例
由于存在许多不同的Transformer架构,因此为您的检查点(checkpoint)创建一个可能很具有挑战性。作为🤗Transformers核心理念的一部分,使库易于使用、简单和灵活,AutoClass自动推断并从给定的检查点加载正确的架构。from_pretrained()】方法允许您快速加载任何架构的预训练模型生产此类检查点不可知代码意味着,如果您的代码适用于一个检查点,则它将适用于另一个检查点——只要它是为类似的任务进行训练的,即使架构不同。原创 2023-10-06 21:53:12 · 566 阅读 · 1 评论