玩转AIGC
文章平均质量分 90
以实战为主,教小白怎么玩大语言LLM,Stable Diffusion等AIGC模型
六五酥
每天积累一点点
展开
-
[玩转AIGC]LangChain文本分词器
我们知道对于LLaMA与LLaMA2的文本分词器为基于sentencepiece的BPE模型,Google ,而openai的文本分词器为tiktoken,据openai官方介绍,tiktoken是一个快速的BPE(Byte-Pair Encoding)分词器,支持词汇的扩展。将每个单词看成一个token,然后对其编号,实际上单词还有前缀,后缀,会有大量单词重复,需减少编码数量,对数据进行压缩,提高编码效率,BPE编码的目的是用一个有限的词表在token数量降到最低的情况下解决所有单词的分词。原创 2024-02-26 11:06:48 · 1150 阅读 · 0 评论 -
[玩转AIGC]LLaMA2之如何跑llama2.c的chat模式
之前我们关于llama2的相关内容主要停留在gc层面,没介绍chat模式,本文将简单介绍下llama2.c的chat模式如何跑起来。训练就算了,没卡训练不起来的,但是用CPU来对别人训练好的模型进行推理还是绰绰有余的,对的,这里没有GPU,不用烧钱,只需要一块CPU和足够的内存空间。这篇文章自认为比较水,哈哈哈。原创 2023-12-28 17:56:03 · 4142 阅读 · 0 评论 -
[玩转AIGC]LLaMA2训练中文文章撰写神器(数据准备,数据处理,模型训练,模型推理)
本文将基于llama2来教大家如何训练一个内容生成工具,即训练属于自己的AIGC(Artificial Intelligence Generated Content)原创 2023-12-28 17:31:11 · 7144 阅读 · 7 评论 -
[玩转AIGC]LLaMA2之如何微调模型
下面的your token就是要填从你自己的HuggingFace复制下来的token,根据上面的步骤走过来,你已经申请过权限了,所以token可用。有了权限就可以从HuggingFace上下载模型:https://huggingface.co/meta-llama。没有的话就自己创建一个token,也就是点击new token,再把创建的token复制下来。然后再去HuggingFace上submit权限申请,连接在下面。提交后还要等待仓库作者的确认,请求将在 1-2 天内得到处理。原创 2023-12-28 18:33:49 · 5609 阅读 · 0 评论 -
[玩转AIGC]如何训练LLaMA2(模型训练、推理、代码讲解,并附可直接运行的kaggle连接)
Llama 2,基于优化的 Transformer 架构,是Meta AI正式发布的最新一代开源大模型,一系列模型(7b、13b、70b)均开源可商用,效果直逼gpt3.5,本文以LLaMA2.c来说明如何基于LLaMA2来训练一个故事生成模型,主要包括数据处理,模型训练,模型推理,关键代码简介等等。原创 2023-07-31 14:42:51 · 20514 阅读 · 9 评论 -
[玩转AIGC]sentencepiece训练一个Tokenizer(分词器)
前面我们介绍了一种字符编码方式这种方式是对一个一个字符编码,丢失了很多信息比如“机器学习训练”,会被编码为“机”,“器”,“学”,“习”,“训”,“练”,单独一个字符,丢失了关联性,比如想分割为“机器/学习/训练”该怎么办呢,这里可以用谷歌开源的工具sentencepiece(当然了,github仓库说明了这不是 Google 官方产品),接下来我们来看看怎么安装使用。原创 2023-07-28 13:59:31 · 6723 阅读 · 1 评论