NLP&LLM实战 记录踩坑

最新推荐文章于 2024-07-16 11:13:57 发布
最新推荐文章于 2024-07-16 11:13:57 发布
阅读量401 收藏 8
点赞数 7
文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61631811/article/details/135613224
版权

实习心得 2024.1.15

linux系统 CUDA11.6

1. xml格式的大文件也可以直接head/tail -n 大概看看内容形式，不必直接用Python包解析。

2. gcc版本更新，不用更新整个系统gcc，重定向即可（还没搞会 明天搞会一下）

3. Python不要用太高的版本，3.8可以就不要用3.10，会有一些奇怪的问题😭

4. git clone github的项目太慢，修改代理配置

长腿老头o3o
关注
  • 7
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 917
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
自然语言处理&transformer&NLP&yolo等技术应用资源
01-04
自然语言处理(NLP)和计算机视觉技术(Vision)是当今人工智能行业最受关注和投资的两个领域，这两个领域在很大程度上改变了人们的生活方式和商业运营模式。本文将重点介绍NLP技术中的Transformer模型和计算机视觉技术...
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
python1234_的博客
07-09 1764
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型的本地知识库问答应用项目。
LLM模型微调方法及经验总结
dzysunshine的博客
07-10 6026
在现在这大规模语言模型（LLM）盛行的时代，由于模型参数和显卡配置的因素，预训练基本是大公司或者高校可以完成的事情，而对于小公司或个人，则只能对LLM进行微调，也就是说微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也尽可能实现与全量参数微调相当的性能。本文总结几种主流的微调方法，主要包括Freeze方法、P-tuning方法、Lora方法和Qlora方法。
Time-LLM ：超越了现有时间序列预测模型的学习器
AI相关从业分享
06-06 1107
Time-LLM 被展示为一个强大的时间序列学习器，其性能超越了现有的、专门的预测模型。输入补丁化：首先，将输入的时间序列数据分割成一系列“补丁”（patches），这些补丁是通过在时间序列上滑动窗口来创建的，每个补丁包含了一定数量的时间步长。实验与优化：在实践中，可能需要进行多次实验，调整模型参数，如补丁长度、步长、模型层数等，以及优化提示前缀的设计，来提高预测的准确性。解决方案：进行多次实验，调整模型参数，如补丁长度、步长、模型层数等，以及优化提示前缀的设计来提高预测的准确性。
【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境
志在创建优质博客、通俗易懂、助力大家提高学习效率！
07-11 412
是一个多模态视觉-语言预训练模型，它结合了视觉和语言信息，用于理解和生成跨模态内容。这种模型在图像描述、视觉问答、视觉对话等任务中表现出色，具体的榜单效果评估如下所示：从上述的榜单可以看出intern-xcomposer2-vl-7b在模型的整体性能上面还是很能打的，不仅评估效果相对比较优化，同时模型的整体参数大小也不是特别的大，感兴趣的可以去在线体验接口进行访问，体验链接。
阿里云部署langchain+ChatGLM2-6B本地知识库实战加踩坑
铭绵羊
04-18 953
2> ChatGLM2-6B 在web_demo.py和web_demo2.py中都把tokenizer和model的路径修改为本地chatlm2-6b的路径。<1> chatglm2-6b chatglm2-6b模型在目录的config.json文件中修改"_name_or_path"**注意：**此处可能会出现cuda和pytorch不匹配的问题（如下图），**例外：**当然还有遇到的上传文档显示报403的错误。修改模型的相关内容（通过WebIDE进行修改）1、白嫖阿里云的算力。
LangChain-Chatchat大语言模型本地知识库：踩坑、部署与应用全攻略
2401_84494441的博客
07-16 1131
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型的本地知识库问答应用项目。
AI时代的产品经理的成长之路：可能是小宇宙最全的产品经理指南
2401_85377976的博客
07-11 1226
2019年～2021年期间，我在做智能写作项目创业的时候，由于当时市场相关产品较少，遇到了问题没有可以参考的竞品。我们只能一路探索，一路踩坑，一路修正。随着产品的迭代，我也在不断地迭代自己的认知，梳理AI产品的方法论和技能树。当时还和Shadow在“蔚来”做了一次关于《AI时代的产品思维》分享。但是光有方法论还不够，随着团队越来越大，也出现了一些管理上的新的问题。团队中新入行的同学，在职业发展的道路上产生了迷茫，甚至也有人提出了离职。
AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署
人工智能领域博客
05-07 4750
本文简要讲述了一行代码完成Xinference本地部署以及两行代码完成Xinference分布式部署以及webui和接口调用，其中快捷部署、极为友好的webui、可配modelscope以及提供兼容OpenAI的API等诸多优点，实属良心之作。真诚的希望通过写博客的方式将自己涉猎过的大模型开源项目分享给大家，由于个人经历有限，不能保证每篇文章都写的特别深入，但尽量保证内容自己实际操作过，避免大家重复踩坑。
自然语言处理&transformer&NLP&yolo等技术应用介绍
08-02
自然语言处理&transformer&NLP&yolo等技术应用介绍
自然语言处理&transformer&NLP&yolo等技术应用资源.pdf
01-25
自然语言处理（NLP）是计算机科学领域的一个分支，它涉及如何使计算机理解、生成和处理人类语言。在NLP中，我们利用各种算法和技术来处理文本数据，使其可被机器理解和利用。以下是一些关键的NLP工具和技术： 1. ...
python中文自然语言处理基础与实战
02-02
《Python中文自然语言处理基础与实战》是一本深入浅出的教程，涵盖了使用Python进行NLP工作的各个方面。在本文中，我们将详细探讨该领域的重要概念、工具和技术，并结合实际案例来深化理解。 首先，让我们从Python...
自然语言处理NLP原理与实战视频课程
09-12
### 自然语言处理NLP原理与实战视频课程 #### 一、自然语言处理(Natural Language Processing, NLP)概述 自然语言处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的一个重要方向。它...
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长
08-12
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
SEQ投诉处理与VONR信令及特性介绍
08-12
SEQ平台5G分析模块介绍 投诉分析处理 VoNR信令及特性介绍
毕业设计php企业进销存管理系统-qkrp源码含文档工具包
最新发布
08-12
毕业设计php企业进销存管理系统-qkrp源码含文档工具包 php，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 类型管理 商品管理 库存查看 库存查看 入库查看 出库查看 用户管理 包含：源码、数据库脚本、论文、环境工具包、相同框架项目的安装教程（在说明文档中）
大学生电子设计大赛-《高频电子线路》实验指导书.rar
08-12
大学生电子设计大赛-《高频电子线路》实验指导书.rar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值