大语言模型LLM
文章平均质量分 90
大语言模型LLM
陈 洪 伟
这个作者很懒,什么都没留下…
展开
-
利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型
利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型原创 2024-04-23 16:41:01 · 585 阅读 · 1 评论 -
大模型的RAG(检索增强生成) ----大模型外挂
检索增强生成(RAG)是一个概念,也可以称为一种范式,它旨在为大语言模型(Large Language Model,LLM)提供额外的、来自外部知识源的信息。原创 2024-04-19 10:58:05 · 648 阅读 · 0 评论 -
大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder
这类结构的模型适用于需要生成序列的任务,可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构,所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。既包含编码器也包含解码器,先理解输入的信息(Encoder部分),然后基于这个理解生成新的、相关的内容(Decoder部分),通常用于序列到序列(Seq2Seq)任务,如。模型在时间线上的位置表示它们的发布日期。仅包含编码器部分,主要适用于不需要生成序列的任务,只需要对输入进行编码和处理的单向任务场景,如。原创 2024-04-18 11:23:09 · 264 阅读 · 0 评论 -
GPT状态和原理 - 解密OpenAI模型训练
基础模型有很多熵。原创 2024-04-17 15:57:42 · 1138 阅读 · 1 评论 -
Transformer的Decoder的输入输出都是什么
decoder input: Encoder input(我有一只猫) + start [---I have a cat /end--- masked]decoder input: Encoder input(我有一只猫) + start I [---have a cat /end--- masked]训练时,decoder的并行计算是指 翻译第i+1个单词无需等待第i个单词的输出,因为训练时知道所有训练数输入数据的真实标签值,无需等待,可并行运算。/结束符,方便预测第一个Token/结束预测过程。原创 2024-04-16 18:16:26 · 1126 阅读 · 0 评论 -
GPT中的Transformer架构以及Transformer 中的注意力机制
看了两个比较好的视频,简单做了下笔记。原创 2024-04-11 15:33:04 · 1260 阅读 · 0 评论 -
利用微软Bing AI语言大模型辅助提高写代码、阅读代码、解bug的效率
有时候我们遇到问题会去Google搜索答案,但有些问题如果我们问Bing Ai可能会更好,Bing AI是结合了大语言模型和bing搜索,但这里不是说每次遇到问题都交给Bing AI,有时候可能其他方法更好,有时候可能Bing AI更好,我们可以把Bing AI作为工具或者方法的其中一种,可以和我们其他的方法或者工具结合起来,提高我们写代码、阅读代码、以及解决bug的效率,下面简单举一下我用Bing AI的例子。要想使用Bing AI,必须用微软的Edge浏览器,打开Edge浏览器,然后打开必应。原创 2023-08-03 10:44:44 · 2302 阅读 · 8 评论 -
利用langchain-ChatGLM、langchain-TigerBot实现基于本地知识库的问答应用
刷B站的时候,无意中看到吴恩达的一个langchain的教程,然后去github上搜了下,发现别人利用langchain和chatGLM做的基于本地知识库的问答应用挺好的,学习下。原创 2023-07-06 11:38:08 · 3581 阅读 · 1 评论 -
TigerBot和ChatGLM-6B大语言模型
直接运行CUDA_VISIBLE_DEVICES=0 python ./apps/web_demo.py然后利用公司的内网地址也不能访问,需要修改代码,将web_demo.py最后一行的。我服务器的cuda是11.0版本的,如果我改成pytorch-cuda=11.0发现找不到这个包。注意后面的MODEL_DIR是目录,不是模型文件名字,就把你下载的模型文件夹放这里就行了。这样下载之后是不包含大文件的,要先安装lfs,然后再下载。下载了11.7的cuda,然后安装了新版本的cuda。单卡推理用下面的命令。原创 2023-07-03 17:48:16 · 1043 阅读 · 0 评论