一起学AI,AIGC心行动
整理的大纲,后续编辑修改,动态ing
必会知识储备,能够更好的进入状态
0.会、能、安全上网
一.python语言基础,jupyter使用,conda 虚拟环境,pip安装类库包
二.LLM 大模型 chatGPT chatGLM gemma CodeLlama
三.Text Embedding 模型
https://blog.csdn.net/v_july_v/article/details/135311471
1.MTEB、C-MTEB github地址 https://github.com/embeddings-benchmark/mteb#leaderboard
榜单地址 https://huggingface.co/spaces/mteb/leaderboard
2.OpenAI的text-embedding模型:从ada-002到3-small/3-large
3.m3e模型 github地址 https://github.com/wangyingdong/m3e-base
4.bge模型 采用RetroMAE预训练算法
github地址 https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md
bge模型的微调 微调脚本:https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune
BGE-M3:多语言、多粒度、多功能
5.三大关键技术:自学习蒸馏、训练效率优化、长文本优化等
四.向量库
FAISS Milvus Pg-vector ChromaDB ES Pinecone(商业版本) 联网 zilliz
五.RAG 知识库
六.langchain AutoGPT langchain-chatchat LlamaIndex 等框架
七.Fine-tune 微调 SFT监督微调 m3e微调
八.搭建本地RAG 知识库应用
$ python copy_config_example.py
$ python init_database.py --recreate-vs