AI领域常用大模型地址及下载方法（持续更新）

文章目录

• 一、计划
• 二、模块划分

• * github大模型汇总项目
  

  • 1. nlp领域

  •   * （1）. ChatGLM-6B
    

    • （2）. LLaMA
    • （3）. Mistral 7B
    • （4）. Mistral-8x7B
    • （5）. BAAI/bge-reranker-base
    • （6）. 零一万物开源Yi系列“理科状元”Yi-9B，消费级显卡可跑
  • 2. 知识图谱

  •   * （1.）信息抽取
    

    • （2.）实体识别关系抽取数据集
    • （3.）一些较为完成的图谱项目
    • （4.）阿里藏经阁
    • （5.）构建知识图谱大模型 东北大学
  • 3. 语音识别

  •   * （1）.Whisper
    

  • 4. 文本生成3D

  •   * （1）. Shap-E
    

  • 5. 本地知识库相关

  •   * 5.1 Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
    

  • 6. 图像领域

  •   * 6.1 一键换装
    

    • 5.2 ChatYuan-large-v2 大语言模型进行基于知识库的问答
  • 7. 中文，embedding处理比较好的预训练模型
• 二、模型下载的常见方法

• * 1、Hugging http://face.cn上手动下载模型及其文件，
  

  • 2、阿里的modelscope上下载，
  • 3、huggingface的镜像网站aliendao网站下载，
  • 4、huggingface的镜像网站

一、计划

现在大模型比较多，平时需要调试对比，就把这些大模型简单一个收集。
不断收集，不断学习
目前，开原模型较多，一些能力弱的，没啥意义

基座模型通常指的是一个通用的、预先训练好的语言模型，如GPT-3.5。这种模型在各种自然语言处理任务中表现出色，可以用作其他更具体任务的基础。对话模型则是专门针对对话系统设计的模型，用于理解和生成对话。这些模型通常会在大规模对话数据上进行预训练，以便更好地理解和生成自然对话。

在实际场景中，通常会使用基座模型进行微调，以适应特定的任务或领域。基座模型已经在大规模的通用语言数据上进行了预训练，因此可以作为一个良好的起点，然后通过微调来使其适应特定的应用场景。

对话模型通常已经在对话数据上进行了预训练，因此在构建对话系统或进行对话相关的任务时，可以使用对话模型进行微调，以使其更好地理解和生成自然对话。

无论是使用基座模型还是对话模型进行微调，都需要根据具体的应用场景和任务需求来选择合适的模型，并进行相应的微调工作

二、模块划分

github大模型汇总项目

目前主流大模型汇总
简介：整理开源的中文大语言模型，以规模缩小、可试点化部署、成本降低的模型为主，包括基础模型、垂直领域调整及应用、数据集与等教程。

1. nlp领域

（1）. ChatGLM-6B

1. ChatGLM-6B
2. ChatGLM2-6B
3. GLM2-6b 的第三方下载地址
4. GLM2-6b int4 第三方下载
5. GLM2-6b-32k 第三方下载
6. GLM2-6b-32k-int4 下载
7. GLM-6b 的第三方下载地址
8. GLM-6b-int8 的第三方下载地址
9. GLM-6b-int4 的第三方下载地址

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B
的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

GLM 多卡部署

（2）. LLaMA

mata官方地址
Chinese-LLaMA-Alpaca

[Chinese-Llama-2系列-三方下载](https://wisemodel.cn/models/LinkSoul/Chinese-
Llama-2-7b)
Atom-7B-Chat-三方下载
Chinese-7b-Chat-
三方下载
Llama2-Chinese-13b-Chat-
三方下载
Llama2-Chinese-13b-Chat-4bit

本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。

LLMA 安装部署

（3）. Mistral 7B

号称：目前为止最好的 7B 模型
Mistral 7B

（4）. Mistral-8x7B

性能超越 Llama2-65B
A微调Mistral-8x7B

（5）. BAAI/bge-reranker-base

特征向量提取器，特别是在向量检索，相似度匹配等领域的表现，目前是最先进的模型
BAAI/bge-reranker-base
github网址

（6）. 零一万物开源Yi系列“理科状元”Yi-9B，消费级显卡可跑

Yi-9B

3月6日，零一万物发布并开源了Yi系列中的“理科状元”——Yi-9B。Yi-9B 是目前 Yi 系列模型中代码和数学能力最强的模型，实际参数为
8.8B，默认上下文长度4K tokens，是在 Yi-6B （使用了 3.1T tokens 训练）的基础上，使用了 0.8T tokens
进行继续训练。

2. 知识图谱

（1.）信息抽取

1. 通用信息抽取 UIE(Universal Information Extraction)
   UIE(Universal Information Extraction)：Yaojie
   Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛化能力。为了方便大家使用UIE的强大能力，PaddleNLP借鉴该论文的方法，基于ERNIE
   3.0知识增强预训练模型，训练并开源了首个中文通用信息抽取模型UIE。该模型可以支持不限定行业领域和抽取目标的关键信息抽取，实现零样本快速冷启动，并具备优秀的小样本微调能力，快速适配特定的抽取目标。

2. 开放域文本理解大模型
   SeqGPT是一个不限领域的文本理解大模型。无需训练，即可完成实体识别、文本分类、阅读理解等多种任务。该模型基于Bloomz在数以百计的任务数据上进行指令微调获得。模型可以在低至16G显存的显卡上免费使用。
   github地址

（2.）实体识别关系抽取数据集

多领域数据集

（3.）一些较为完成的图谱项目

项目地址

（4.）阿里藏经阁

藏经阁
在商业知识图谱数据开放基础之上，我们还开放了部分知识图谱技术平台能力，开源了若干知识图谱构建、融合、推理和应用工具，以促进知识图谱技术社区的发展。

1. DeepKE
   DeepKE 是一个支持低资源、长篇章的知识图谱抽取工具，用户可以定制输入的数据集和模型实现命名实体识别、关系抽取、属性抽取等知识图谱构建功能。

2. NeuralKG
   是一个通用的知识图谱神经网络表示学习工具，其包含常用的知识图谱嵌入模型、基于图神经网络的图谱推理模型，以及多个规则增强推理模型

3. OpenUE
   OpenUE是一个轻量级知识图谱抽取工具，其实现了在一个统一通用的框架下实现实体关系、事件识别、以及槽位和意图抽取等多种知识图谱构建任务。

4. PromptKG
   PromptKGC（Incoming）是一个基于Pretrain-Prompt-
   Fitune预训练范式的知识图谱抽取和补全工具，支持文本生成等多种应用和任务。

5. FastKGE
   是一个轻量级知识图谱表示学习框架，其通过知识图谱蒸馏等方法，实现快速、高效的实体向量学习，可支持知识图谱模型的快速部署，以及在移动、边缘设备应用部署。

（5.）构建知识图谱大模型 东北大学

构建知识图谱大模型

TechGPT是“东北大学知识图谱研究组”发布的垂直领域大语言模型。目前在HuggingFace🤗:
TechGPT-7Bneukg/TechGPT-7B开源了全量微调的7B版本。
TechGPT主要强化了如下三类任务:

以“知识图谱构建”为核心的关系三元组抽取等各类信息抽取任务
以“阅读理解”为核心的各类智能问答任务。
以“文本理解”为核心的关键词生成等各类序列生成任务。
摘要缩写，标题扩写

3. 语音识别

（1）.Whisper

是一个通用的语音识别模型，可以执行多语言语音识别、语音翻译和语音识别
Whisper

4. 文本生成3D

（1）. Shap-E

以文本或者图像为基础生成3D

Shap-E

5. 本地知识库相关

5.1 Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM

等语言模型的本地知识库问答

本地知识库问答

6. 图像领域

6.1 一键换装

模特一件换装

5.2 ChatYuan-large-v2 大语言模型进行基于知识库的问答

ChatYuan-large-v2 大语言模型进行基于知识库的问答
nlp_bert_document-segmentation_chinese-base 语义分割模型对文本进行拆分
text2vec-large-chinese 模型 对文本向量化
faiss进行向量检索
langchain 进行各个模块的组合，并完成基于知识库的问答
项目结构

大语言模型进行基于知识库的问答

7. 中文，embedding处理比较好的预训练模型

1. 支持中英双语的embedding预训练
   jina-embeddings-v2-base-zh 是支持中英双语的文本向量模型，它支持长达8192字符的文本编码。
   该模型的研发基于BERT架构(JinaBERT)，JinaBERT是在BERT架构基础上的改进，首次将ALiBi应用到编码器架构中以支持更长的序列。
   不同于以往的单语言/多语言向量模型，我们设计双语模型来更好的支持单语言（中搜中）以及跨语言（中搜英）文档检索。 除此之外，我们也提供其它向量模型:

二、模型下载的常见方法

因为大模型动辄十几GB的大小，因为对于开发人员来说，环境搭好了，模型还要好几个小时。

模型下载的四种方式：

1、Hugging http://face.cn上手动下载模型及其文件，

因为国内对该网站不开放，需挂vpn下载，因为外网下载，所以速度依赖于你的外网网速

[下载地址](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/tree/main-
inc/Baichuan2-13B-Chat-4bits/tree/main)

2、阿里的modelscope上下载，

无需vpn，如果你的网速还行，建议这种方式，首先需要安装modelscope：pip install modelscope

# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。

3、huggingface的镜像网站aliendao网站下载，

无需vpn，非开发者需手动下载互链高科 （非开发者或者怕麻烦可以直接去网站手动下载）

开发者在aliendao的下载器上下载 下载地址

# 开发者可以直接看这里，这里的操作是在你已经有了一个python3.7以上的环境下，可以直接下述操作
# 如果你没有的话，移步 https://github.com/git-cloner/aliendao
git clone https://github.com/git-cloner/aliendao
cd aliendao
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn


# 带上mirror参数，优先从aliendao.cn镜像下载
python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat-4bits
让公司的运维测了，aliendao的带宽很慢，即便你的网速很快，速度也非常一般，而且这个网站模型不全。

4、huggingface的镜像网站

镜像网址

网速很快，公司运维有测到4M/s，非常推荐用这个网站直接下载

备注：huggingface的镜像网站下载llama2系列模型如何加认证的信息
加 huggingface access token 就可以下载，wget --header="Authorization: Bearer <hf_token>" url ，如果是git clone，则提示输密码时输入access token。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓