大模型
Sophie'sCookingLab
个人学习笔记,方便使用时查找,也希望和各位大佬交流学习心得~~
原理+实践+认知
展开
-
阿里云相关链接
模型服务灵积阿里云百炼。原创 2024-08-28 10:38:02 · 360 阅读 · 0 评论 -
gpt-4o也有不聪明的时候
原创 2024-08-28 10:30:18 · 384 阅读 · 0 评论 -
好用的AI工具
TOKEN个数统计工具。模型推断内存使用量统计。原创 2024-08-22 17:21:34 · 76 阅读 · 0 评论 -
RAG技术论文
【RAG技术论文】《LLM应用中的分块策略》精华摘译原创 2024-08-14 17:30:20 · 367 阅读 · 0 评论 -
周鸿祎关于2024年AI看法
英伟达推出ChatWithRTX ,要把每个人的电脑都折腾成一个私有大模型。Sora,OpenAI新推出的一个文生视频的新模型。Agent智能体激发发模型潜能,成为超级生产力工具。2024是大模型应用场景之年,Toc出现杀手级应用。大模型企业级市场崛起,向产业化、垂直化方向发展。2、2024年大模型发展十大趋势判断(周鸿)文生图、文生视频等AIGC功能突破性增长。大模型无处不在,成为数字系统标配。小模型涌现,运行在更多终端。大模型推动基础科学取得突破。多模态成为大模型标配。原创 2024-07-11 23:49:50 · 245 阅读 · 0 评论 -
非结构化数据到结构化数据工具
gptpdf:使用GPT-4o解析 PDF 为 markdown,可完美地解析排版、数学公式、表格、图片、图表等,每页解析平均价格不到1毛钱omniparse原创 2024-07-11 15:14:21 · 106 阅读 · 0 评论 -
An Integration of Pre-Trained Speech and Language Models for End-to-End Speech Recognition
在提出的模型中,预先训练的 HuBERT 和 GPT 通过基于卷积的桥接网络连接并进行完全微调,其中桥接网络将从语音波形样本中提取的有意义的连续潜在表示传递给 LLM 作为语音提示。相比之下,本文将预训练的语音表示模型与 LLM 相结合,将语音模态信息作为连续特征直接桥接到 LLM,以完全 E2E 的方式执行语音识别。语音波形 x 被输入到音频编码器中以获得语音表示,然后通过桥接网络将语音表示转换为文本标记的嵌入空间,以作为语音提示输入到 LLM 中。把波形数据嵌入到语音表示空间。原创 2024-07-10 23:03:52 · 575 阅读 · 0 评论 -
大模型微调平台
https://huggingface.co/spaces/hiyouga/LLaMA-Board原创 2024-07-02 20:52:02 · 96 阅读 · 0 评论 -
interrupted by signal 11: SIGSEGV
内存溢出。原创 2024-07-01 18:10:00 · 184 阅读 · 0 评论 -
LangChain与智谱AI
LangChain与智谱AI原创 2024-07-01 10:25:05 · 121 阅读 · 0 评论 -
langchain报错
ImportError: cannot import name ‘BaseModel’ from ‘langchain_core.pydantic_v1’ (/Users/sunwenjun/anaconda3/envs/python310/lib/python3.10/site-packages/langchain_core/pydantic_v1/init.py)pip install -U pydanticpip install -qU langchain-openai原创 2024-07-01 01:16:58 · 266 阅读 · 0 评论 -
streamlit
官网开源项目参考:st.cathe_data 装饰器在aws上docker部署streamlit项目。原创 2024-07-01 01:01:12 · 265 阅读 · 0 评论 -
LLMOps
coze 、dify。原创 2024-06-30 15:59:04 · 323 阅读 · 0 评论 -
大模型微调(finetune)方法
主要是通过模型本身对任务数据进行生成引导,构建自我蒸馏数据集,改变任务数据的信息分布,减少与原始模型信息分布的差距。:显著性和敏感性分析,更精确的定位到需要改变的参数,避免对整个模型参数的全面调整,从而减少了灾难性遗忘的发生。:主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。单任务:OpenFunctions、GSM8K和MagiCoder;多任务:Alpaca、Dolly和LIMA;原创 2024-06-27 16:56:48 · 433 阅读 · 0 评论 -
embedding模型选择
Hugging Face推出的嵌入模型排行榜MTEB。原创 2024-06-22 23:37:34 · 136 阅读 · 0 评论 -
RAG Fusion
优点缺点。原创 2024-06-22 22:57:30 · 76 阅读 · 0 评论 -
RAG优化
1、大模型的局限性2、什么是检索增强的语言模型(Retrieval-based LMs)3、为什么要使用检索增强的语言模型(Retrieval-based LMs)4、RAG和SFT微调有什么不同?原创 2024-06-22 21:31:49 · 285 阅读 · 0 评论 -
分布式训练框架
deepspeedfsd。原创 2024-06-22 21:09:25 · 112 阅读 · 0 评论 -
RAG和agent框架选型
langChainautoGenmetaGPT。原创 2024-06-22 21:06:27 · 146 阅读 · 0 评论 -
大模型应用开发-向量数据库选型
FAISS:适合需要高性能和低延迟的场景,但实现较为复杂。Annoy:轻量级、适合读取多于写入的场景,但不支持动态更新。HNSW:性能优越,特别适合高维数据,并且支持动态更新。Milvus:企业级解决方案,支持多种索引和动态数据管理,适合大规模分布式环境。Pinecone:全托管服务,易于使用和管理,适合快速部署需求。Weaviate:支持语义搜索和知识图谱,适合复杂的数据集成场景。根据具体的应用需求选择合适的向量数据库,可以显著提升系统的性能和效率。原创 2024-06-21 11:00:26 · 461 阅读 · 0 评论 -
chromadb
Chroma是一款AI开源向量数据库,用于快速构建基于LLM的应用,支持Python和Javascript语言。具备轻量化、快速安装等特点,可与Langchain、LlamaIndex等知名LLM框架组合使用。原创 2024-06-20 15:56:37 · 611 阅读 · 0 评论 -
基于RAG的论文信息检索(2)-向量召回
https://github.com/wenjunna/ragdemo-02原创 2024-06-18 21:08:13 · 145 阅读 · 0 评论 -
RAG项目工期
term , 向量 , 大模型。第一期,基于term的检索,大模型生成。上传pdf,一键解析,上传多个pdf。第三期,使用向量检索,向量数据库选型。第二期,搭建前端界面,落地。原创 2024-06-18 17:59:46 · 199 阅读 · 0 评论 -
大模型运行可视化工具
https://bbycroft.net/llm大模型预训练任务原创 2024-06-18 15:36:53 · 430 阅读 · 0 评论 -
langchain
langchain-模型智谱AI:ChatGLM API调用说明原创 2024-06-15 12:50:37 · 268 阅读 · 0 评论 -
大模型API和私有化部署的区别与联系
大模型 API 和私有化部署各有优劣,选择合适的方案应基于具体的应用需求、资源条件和数据安全考量。原创 2024-06-13 23:28:55 · 595 阅读 · 0 评论 -
Llama2微调
https://huggingface.co/meta-llama/Llama-2-7b-hfhttps://huggingface.co/meta-llama/Meta-Llama-3-8BLlama3微调教程:超简单,人人都可以打造属于自己的GPT!原创 2024-06-13 22:29:53 · 296 阅读 · 0 评论 -
基于RAG的论文信息检索(1)-term召回
有一篇中文论文,结合论文信息和大模型的生成能力,搭建一个RAG模型,向模型提问关于该论文的一些问题,模型给出答案。elasticsearch/openai/RAG/Prompt/大模型外部知识库从pdf格式的论文中提取,大模型使用的是kimi,调用kimi api,外部知识以prompt的形式输入大模型,大模型综合用户提问和检索结果,生成答案。下面以本人硕士毕业论文做测试。原创 2024-06-13 00:10:39 · 813 阅读 · 0 评论 -
大模型快速私有化工具ollama
ollama目前支持的模型:https://ollama.com/library。Ollama 提供了一种在本地运行大语言模型(LLMs)的方法。ollama官网:https://ollama.com/原创 2024-06-11 11:51:27 · 313 阅读 · 0 评论 -
大模型与知识图谱
大模型和知识图谱怎么结合使用?有了大模型还需要知识图谱吗?原创 2024-06-10 12:53:40 · 215 阅读 · 0 评论 -
Moonshot AI API使用(3)-ChatGPT和kimi对比
使用关于歌手李健的一些问答,进行对比。整体感觉ChatGPT思维更清晰,逻辑更严谨,总结概括能力更强。原创 2024-06-10 10:44:10 · 1187 阅读 · 0 评论 -
让大模型成为你的得力助手(4)-旅游客服
开发一个某旅行社旅游产品客服对话机器人。原创 2024-06-08 16:49:01 · 108 阅读 · 0 评论 -
Moonshot AI API使用(2)-环境变量配置和简单对话demo
api key有多种使用方式,添加环境变量这种是最安全的,强烈推荐!在打开的文件中添加下面两行。原创 2024-06-07 15:57:15 · 561 阅读 · 0 评论 -
Moonshot AI API使用(1)-获取MOONSHOT_API_KEY
用户注册,使用微信扫码登录。把这个key复制下来。原创 2024-06-07 15:16:45 · 310 阅读 · 0 评论 -
让大模型成为你的得力助手(3)-OpenAI API
Chat API:多轮对话,但可以用对话逻辑完成任何任务,包括续写文本。Completion API:续写文本,多用于补全场景。其它大模型的 API 基本都是参考 OpenAI,只有细节上稍有不同。有的大模型只提供 Chat。原创 2024-06-07 14:50:00 · 194 阅读 · 0 评论 -
让大模型成为你的得力助手(2)-Prompt进阶技巧
思维链自洽性思维树。原创 2024-06-07 13:55:14 · 137 阅读 · 0 评论 -
ChatGPT给我的NER答案,瞬间感觉自己真的要失业了!!!
ChatGPT给我的NER(命名实体识别)答案,瞬间感觉自己真的要失业了!!!原创 2024-04-19 23:38:49 · 263 阅读 · 1 评论 -
让大模型成为你的得力助手(1)-使用合适的Prompt
一个认知:不是大模型能做什么,而是你想让大模型做什么原创 2024-06-06 17:39:07 · 459 阅读 · 0 评论 -
RAG检索增强生成(1)-大语言模型的外挂数据库
RAG结合了信息检索和文本生成两种方法,旨在突破传统问答系统的局限。通过将外部数据检索的相关信息输入大语言模型,大语言模型能够基于这些信息生成回答,进而增强答案生成的能力。RAG能够处理更广泛、更复杂的问题。使用RAG后可以有效解决大语言模型细分领域的幻觉和知识过期问题。原创 2024-06-01 16:27:12 · 448 阅读 · 0 评论 -
RAG检索增强生成(2)-向量数据库
专门用于存储和处理向量数据。它的能够高效地存储和检索向量数据,使开发者能够进行高级的相似性搜索和分析。在大模型时代,文本、图像、音频和其他非结构化数据,通常被嵌入到一定维度的向量空间,使用向量数据库能够高效地存储和检索这些数据。原创 2024-06-02 22:27:55 · 484 阅读 · 0 评论