qyhua的专栏

本文详细介绍了如何使用 PyTorch 从零实现一个简易的中文 Transformer 模型。文章从数据预处理开始，逐步拆解了模型的各个核心组件，包括词嵌入、位置编码、编码器堆叠及线性投影等。通过 Mermaid 流程图直观展示了整体架构，帮助读者系统掌握大模型的原理与实战。文章还提供了完整的代码示例，涵盖了数据准备、模型定义、训练与推理的全过程，适合零基础读者理解并复现 Transformer 模型。

Qwen3是阿里云推出的新一代大规模语言模型（LLM），基于混合专家架构（MoE）和动态注意力机制设计，支持多模态输入、长上下文处理及复杂任务推理。本文将从核心特性性能表现部署方案到实战体验全面解析Qwen3的技术亮点，并结合Ollama工具演示其轻量化部署效果。Qwen3标志着大语言模型进入“混合推理时代”，通过灵活架构设计和高效资源利用，为学术研究和工业应用提供了全新范式。结合Ollama工具，开发者可轻松实现高性能模型的本地化部署，加速AI技术普及。

本教程详细介绍了如何离线安装 F5-TTS，并配置与运行模型。通过下载源码、安装依赖、获取并配置模型文件，你可以成功地在没有网络的环境中使用 F5-TTS 进行文本到语音的转换。在遇到问题时，按照常见问题解决方案进行排查和修复。希望本教程能帮助你顺利完成 F5-TTS 的离线部署！

春节期间，DeepSeek 模型在 AI 社区引起了广泛关注。节后上班的第一天尝试在本地电脑安装与使用这个模型。基于 Ollama 和 Chatbox，在个人电脑上快速部署和使用 DeepSeek R1。建议使用。可以选择或。建议使用或。请根据电脑配置您选择的模型版本。下载完成后，您可以在命令行中与模型进行交互。访问，根据您的操作系统下载并安装对应版本。当前最新的版本是 0.10.4,windows平台下载：下载后与普通程序一样安装即可。

开源、现代化设计的 ChatGPT/LLMs 聊天应用与开发框架支持语音合成、多模态、可扩展的插件系统，一键拥有你自己的 ChatGPT/Gemini/Ollama 应用。

如果你觉得openai的gpt没有隐私，或者需要离线使用gpt，还是打造专业领域知识，可以借用AnythingLLM+Ollama轻松实现本地GPT.

huggingface.co 拉取模型数据，授权同意后，再次运行项目即可正常拉取模型

官网简介如下图：翻译过来是：低秩自适应(LoRA)是一种PEFT方法，它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层，其实我自己平时微调操作注意力层+多层感知机层，感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层，不知道微调加入其它层效果会不会更好？

RAG（Retrieval-Augmented Generation）是一种结合了检索和生成模型的方法，主要用于解决序列到序列的任务，如问答、对话系统、文本摘要等。它的核心思想是通过从大量文档中检索相关信息，然后利用这些信息来增强生成模型的输出。

LM Studio是一个功能丰富的平台，旨在帮助用户轻松地与最新的语言模型（LLM）进行交互和实验，无需互联网连接即可在个人设备上运行。这些功能使得LM Studio成为研究者、开发者和对自然语言处理技术感兴趣的个人的理想工具，特别是在需要高性能和隐私保护的应用场景中。得益于llama.cpp项目的基础工作，LM Studio能够实现高效且资源友好的模型运行环境。

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，新一代开源模型已发布，拥有10B以下最强的基础模型，支持工具调用（Function Call）、代码执行（Code Interpreter）、Agent 任务等功能，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

本次微调最开始是打算使用Qwen/Qwen-1_8B-Chat的模型作为微调对象，调试过程中不断报GPU显存不够，该模型需要的显存超过12G，因此后面改用 Qwen/Qwen1.5-0.5B-Chat 模型。这里的注意力投影与多层感知的层作是："c_attn", "c_proj", "w1", "w2"从上面对比图可以看出，微调后的回答的答案与模型合并的模型都差不多效果，比较准确。微调前回复答案明显多了一些不像关键字的没有微调后的好，说明确实有效果。方法保存微调后的模型到指定目录。我们调整大模型哪些层，

简单实现一个本地ChatGPT 服务，用到langchain框架，fastapi,并且本地安装了ollama。服务端非常简单，后面再写个前端对接一下即可方便使用。

CodeGeeX2 是多语言代码生成模型) 的第二代模型。不同于一代 CodeGeeX（完全在国产华为昇腾芯片平台训练） ，CodeGeeX2 是基于架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；