weixin_40566713的博客

要将大型语言模型（如GPT-4）微调用于文本续写任务，构造高质量的训练数据至关重要。通过以上步骤，您可以构造用于文本续写任务的高质量训练数据，为大型语言模型的微调打下坚实基础。

使用流式传输协议接入大模型的心得以及一些相关 bug 的解决方案大模型的流式返回在换行符处被分开截断，导致无法正常解析换行符的解决方案

代码：https://github.com/openai/finetune-transformer-lm/blob/master/train.py。代码：https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v5。代码：https://github.com/state-spaces/mamba。特点：可并行训练，推理性能极强，适合在端侧使用。特点：最流行，几乎所有大模型都用它。特点：性能更佳，尤其适合长文本生成。设计者：PENG Bo。设计者：Google。

2024年8月29日，AI绘画工具Midjourney在社交平台X宣布，公司正式涉足硬件领域，并为位于旧金山的新团队发布人才招募信息。作为国内第一批入局生成式人工智能的初创AI项目，凭借自主研发的算法和底层引擎，为用户提供“文本生成图像”服务。2022年9月29日消息，OpenAI 已经取消了访问其文本生成图像系统 DALL-E 2 的等待名单，这意味着任何人都可以立即注册使用这个人工智能艺术生成器。定位为面向有设计需求和创意的人群，基于文心大模型智能生成多样化AI创意图片，辅助创意设计，打破创意瓶颈。

chunk包：长度和重叠度。

模型服务灵积阿里云百炼。

TOKEN个数统计工具。模型推断内存使用量统计。

【RAG技术论文】《LLM应用中的分块策略》精华摘译

英伟达推出ChatWithRTX ，要把每个人的电脑都折腾成一个私有大模型。Sora,OpenAI新推出的一个文生视频的新模型。Agent智能体激发发模型潜能，成为超级生产力工具。2024是大模型应用场景之年，Toc出现杀手级应用。大模型企业级市场崛起，向产业化、垂直化方向发展。2、2024年大模型发展十大趋势判断（周鸿）文生图、文生视频等AIGC功能突破性增长。大模型无处不在，成为数字系统标配。小模型涌现，运行在更多终端。大模型推动基础科学取得突破。多模态成为大模型标配。

gptpdf：使用GPT-4o解析 PDF 为 markdown，可完美地解析排版、数学公式、表格、图片、图表等，每页解析平均价格不到1毛钱omniparse

在提出的模型中，预先训练的 HuBERT 和 GPT 通过基于卷积的桥接网络连接并进行完全微调，其中桥接网络将从语音波形样本中提取的有意义的连续潜在表示传递给 LLM 作为语音提示。相比之下，本文将预训练的语音表示模型与 LLM 相结合，将语音模态信息作为连续特征直接桥接到 LLM，以完全 E2E 的方式执行语音识别。语音波形 x 被输入到音频编码器中以获得语音表示，然后通过桥接网络将语音表示转换为文本标记的嵌入空间，以作为语音提示输入到 LLM 中。把波形数据嵌入到语音表示空间。

https://huggingface.co/spaces/hiyouga/LLaMA-Board

内存溢出。

LangChain与智谱AI

ImportError: cannot import name ‘BaseModel’ from ‘langchain_core.pydantic_v1’ (/Users/sunwenjun/anaconda3/envs/python310/lib/python3.10/site-packages/langchain_core/pydantic_v1/init.py)pip install -U pydanticpip install -qU langchain-openai

官网开源项目参考：st.cathe_data 装饰器在aws上docker部署streamlit项目。

coze 、dify。

主要是通过模型本身对任务数据进行生成引导，构建自我蒸馏数据集，改变任务数据的信息分布，减少与原始模型信息分布的差距。：显著性和敏感性分析，更精确的定位到需要改变的参数，避免对整个模型参数的全面调整，从而减少了灾难性遗忘的发生。:主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。单任务：OpenFunctions、GSM8K和MagiCoder；多任务：Alpaca、Dolly和LIMA；

Hugging Face推出的嵌入模型排行榜MTEB。

优点缺点。

1、大模型的局限性2、什么是检索增强的语言模型(Retrieval-based LMs)3、为什么要使用检索增强的语言模型（Retrieval-based LMs）4、RAG和SFT微调有什么不同？

deepspeedfsd。

langChainautoGenmetaGPT。

FAISS：适合需要高性能和低延迟的场景，但实现较为复杂。Annoy：轻量级、适合读取多于写入的场景，但不支持动态更新。HNSW：性能优越，特别适合高维数据，并且支持动态更新。Milvus：企业级解决方案，支持多种索引和动态数据管理，适合大规模分布式环境。Pinecone：全托管服务，易于使用和管理，适合快速部署需求。Weaviate：支持语义搜索和知识图谱，适合复杂的数据集成场景。根据具体的应用需求选择合适的向量数据库，可以显著提升系统的性能和效率。

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。

https://github.com/wenjunna/ragdemo-02

term , 向量 ， 大模型。第一期，基于term的检索，大模型生成。上传pdf，一键解析，上传多个pdf。第三期，使用向量检索，向量数据库选型。第二期，搭建前端界面，落地。

https://bbycroft.net/llm大模型预训练任务

langchain-模型智谱AI：ChatGLM API调用说明

大模型 API 和私有化部署各有优劣，选择合适的方案应基于具体的应用需求、资源条件和数据安全考量。

https://huggingface.co/meta-llama/Llama-2-7b-hfhttps://huggingface.co/meta-llama/Meta-Llama-3-8BLlama3微调教程：超简单，人人都可以打造属于自己的GPT！

有一篇中文论文，结合论文信息和大模型的生成能力，搭建一个RAG模型，向模型提问关于该论文的一些问题，模型给出答案。elasticsearch/openai/RAG/Prompt/大模型外部知识库从pdf格式的论文中提取，大模型使用的是kimi,调用kimi api,外部知识以prompt的形式输入大模型，大模型综合用户提问和检索结果，生成答案。下面以本人硕士毕业论文做测试。

ollama目前支持的模型：https://ollama.com/library。Ollama 提供了一种在本地运行大语言模型（LLMs）的方法。ollama官网：https://ollama.com/

大模型和知识图谱怎么结合使用？有了大模型还需要知识图谱吗？

使用关于歌手李健的一些问答，进行对比。整体感觉ChatGPT思维更清晰，逻辑更严谨，总结概括能力更强。

开发一个某旅行社旅游产品客服对话机器人。

api key有多种使用方式，添加环境变量这种是最安全的，强烈推荐！在打开的文件中添加下面两行。

用户注册，使用微信扫码登录。把这个key复制下来。