- 博客(338)
- 收藏
- 关注
RSS订阅原创 【自然语言处理与大模型】LlamaIndex的词嵌入模型和向量数据库
嵌入模型（Embedding Model）的本质在于将高维的、稀疏的数据转换为低维的、密集的向量表示，使得这些向量能够在数学空间中表达原始数据的语义信息。降维表示：嵌入模型能够将文本、图像或其它类型的数据映射到一个连续的向量空间中，这个过程通常伴随着维度的降低。例如，一个包含大量词汇的文本可以通过嵌入模型被表示为固定长度的向量。捕捉语义关系：在生成的向量空间中，相似或相关的概念在空间中的距离较近，而不相关或相异的概念则距离较远。这意味着嵌入模型不仅能捕捉单个词语或数据点的含义，还能反映它们之间的语义关系。
2025-05-06 23:57:16
318
原创 【学习心得】PyCharm远程连接OpenBayes贝式算力云平台
本文详细记录一下如何使用PyCharm远程连接OpenBayes贝式算力云平台，并使用安装llamafactory
2025-05-06 04:23:09
154
原创 【自然语言处理与大模型】使用Xtuner进行模型合并与导出
轻松地将在 Xtuner 中训练得到的模型转换为可以在 Hugging Face 平台上使用的格式，方便后续的应用
2025-05-03 23:57:47
486
原创 【学习心得】魔塔（ModelScope）和抱抱脸（Hugging Face）下载模型小细节
介绍常用的两种在模型社区如魔塔（ModelScope）和抱抱脸（Hugging Face），下载预训练模型的方法，然后说明各种方法里面的小细节。
2025-05-03 11:56:50
614
原创 【自然语言处理与大模型】使用Xtuner进行QLoRA微调实操
手把手演示如何使用Xtuner对模型进行微调训练，包括数据准备、训练命令执行及训练过程中的监控技巧。最后，在完成微调之后，本文还将介绍如何对微调结果进行简单对话测试。
2025-05-02 23:57:50
1323
2
原创 【学习心得】MongoDB报错“Error: couldn‘t connect to server 127.0.0.1:27017, connection attempt failed: ...”
MongoDB报错“Error: couldn't connect to server 127.0.0.1:27017, connection attempt failed: ...”
2025-05-02 14:36:18
266
1
原创 【自然语言处理与大模型】如何获取特定领域的微调数据集？
在少量原始对话样本的基础上，通过调用大模型 API（如 GLM 系列） 自动生成大量风格一致、语义合理的对话数据，用于扩充训练集或提升下游任务表现。
2025-04-30 23:58:29
492
原创 【自然语言处理与大模型】大模型意图识别实操
本文先介绍一下大模型意图识别是什么？如何实现？然后通过一个具体的实战案例，详细演示如何运用大模型完成意图识别任务。最后，对大模型在该任务中所发挥的核心作用进行总结归纳。
2025-04-30 15:19:05
1566
原创 【自然语言处理与大模型】LangChain大模型应用框架入门②
本文介绍LangChain的另一个重要组件——提示词模板（Prompt Template）组件，其中的两个最常用的PromptTemplate和ChatPromptTemplate
2025-04-29 23:48:58
561
原创 【自然语言处理与大模型】用OpenCompass评估自己微调的模型
用OpenCompass评估自己微调的模型。OpenCompass评估入门有哪些坑。
2025-04-27 05:20:18
1158
1
原创 【学习心得】最新！使用PyCharm 2025.1 远程开发教程，附带端口转发教程！
最新！使用PyCharm 2025.1 远程开发教程，附带端口转发教程！
2025-04-27 00:43:37
396
原创 【自然语言处理与大模型】大模型参数规模与部署配置调查2025第一季度
大模型参数规模与部署配置调查2025第一季度。统计可知参数规模在32B到78B之间的模型是目前的主流。
2025-04-23 23:08:43
668
原创 【自然语言处理与大模型】如何知道自己部署的模型的最大并行访问数呢？
如何知道自己部署的模型的最大并行访问数呢？预估模型推理时显存占用，计算剩余显存量支持的最大并行访问数。
2025-04-22 11:26:59
1322
原创 【自然语言处理与大模型】大模型（LLM）基础知识③
大模型的“7B”是什么意思？模型后面标的“instruct”是什么意思？大模型量化什么意思？量化等级是什么意思？量化方法是什么意思？啥是Alpaca数据集？BLEU评估指标是什么？怎么算的？ROUGE评估指标是什么？怎么算的？什么是QLoRA？为什么要做分布式微调训练？怎么实现大模型的分布式微调的？原理策略？
2025-04-21 02:06:09
572
原创 【自然语言处理与大模型】个人使用LLaMA Factory微调的记录
个人使用LLaMA Factory微调的记录：魔塔社区免费服务器如何使用webui微调？llamafactory工程文件目录里面都有是些什么？webui里面的微调参数的都是什么意思？ 如何直接使用webchat来和指定模型对话？五、使用cli train进行黑窗口微调训练的时候如何配置训练参数？
2025-04-21 01:51:26
1049
原创 【自然语言处理与大模型】Linux环境下Ollama下载太慢了该怎么处理？
Linux环境下Ollama下载太慢了该怎么处理？答案是在下载配置文件中更换下载源。
2025-04-20 23:18:57
227
原创 【学习心得】让公司或学校的服务器也能像AutoDL等算力平台一样使用jupyter lab访问
让公司或学校的服务器也能像AutoDL等算力平台一样使用jupyter lab访问，这个过程涉及到几个关键步骤，比如安装 Jupyter、配置安全访问、开放必要的端口以及确保可以通过互联网访问等等。
2024-12-19 02:38:28
440
原创 【自然语言处理与大模型】Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署
Ollama如何拉取huggingface社区或modelscope社区的GGUF模型并部署。
2024-12-17 03:46:09
1000
原创 【自然语言处理与大模型】需求给定后可选模型众多，你该如何选择模型？
选择合适的模型是一个综合考量的过程，需要根据具体任务需求、硬件设备条件以及部署环境等多方面因素来决定。
2024-12-13 16:16:37
857
原创 【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式
llama.cpp 是一个专为大型语言模型（LLM）设计的高性能推理框架，可以使用llama.cpp将HF格式大模型转换为GGUF格式。
2024-12-13 08:48:39
1957
原创 【自然语言处理与大模型】魔塔社区免费实例中使用ollama快速部署llama3
在ModelScope魔塔社区提供的免费实例，使用ollama部署开源llama3模型。
2024-11-19 03:04:32
3914
2
原创 【学习心得】数据分析三剑客跟学Gitee仓库
Talk is cheap, Show me the code. （纸上得来终觉浅，绝知此事要躬行）Numpy科学计算仓库介绍、Pandas数据分析仓库介绍和Matplotlib可视化仓库介绍。
2024-11-16 11:49:41
882
2
原创 【学习心得】Python好库推荐——Streamlit
Streamlit • A faster way to build and share data apps（Streamlit帮助你更快速搭建应用）
2024-11-16 00:13:59
404
原创 【学习心得】Python好库推荐——tiktoken
tiktoken是一个快速BPE分词器，它用于两个重要功能：1、文本编码与解码；2、统计Tokens数量。
2024-11-13 23:30:16
715
原创 【学习心得】Python好库推荐——PEFT
PEFT（Parameter-Efficient Fine-Tuning）是一种在深度学习中进行参数高效微调的技术。
2024-11-13 15:58:30
1338
手语识别-深度学习-自建ASL数据集-模型训练（分卷压缩第三卷/最后一卷）
2024-04-01
手语识别-深度学习-自建ASL数据集-模型训练（分卷压缩第二卷）
2024-04-01
手语识别-深度学习-自建ASL数据集-模型训练（分卷压缩第一卷）
2024-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人