大模型使用实例 - 技术笔记

大模型使用实例 - 笔记

1、可以参考该网页：https://ceshiren.com/t/topic/32126

2、安装Ollama(可选)

   Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。
   
   本地安装完成后使用cmd - > ollama list

3、安装 docker desktop

3.1 docker desktop安装

Docker是一个开源的应用容器引擎，它允许开发者将应用以及应用的依赖包打包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。安装Docker的意义主要体现在以下几个方面：
环境隔离：Docker容器可以提供轻量级的环境隔离，使得每个应用可以运行在独立的容器中，互不干扰。
简化部署：使用Docker，可以将应用及其所有依赖打包成一个镜像，实现快速部署。
版本控制：通过Docker镜像的版本管理，可以方便地控制不同版本的应用部署。
资源利用率高：Docker容器是轻量级的，可以显著提高资源利用率，减少不必要的系统开销。

https://docs.docker.com/desktop/install/windows-install/
docker desktop installer.exe
一般使用default

bcdedit /set hypervisorlaunchtype auto

win10系统 Docker 提示Docker Engine stopped解决全过程记录:
https://blog.csdn.net/cplvfx/article/details/138033592

3.2 Docker镜像加速配置
由于Docker默认从Docker Hub拉取镜像，速度可能较慢，可以通过配置镜像加速来加速这一过程。配置方法通常是通过修改Docker的配置文件（如daemon.json），加入镜像加速地址。但需要注意的是，直接修改文件可能需要手动创建文件并添加JSON内容，或者使用特定的Docker配置管理工具。
{
“registry-mirrors”: [
“https://do.nark.eu.org”,
“https://dc.j8.work”,
“https://docker.m.daocloud.io”,
“https://dockerproxy.com”,
“https://docker.mirrors.ustc.edu.cn”,
“https://docker.nju.edu.cn”
],
“builder”: {
“gc”: {
“defaultKeepStorage”: “20GB”,
“enabled”: true
}
},
“experimental”: false
}

    这个配置需要被放置在Docker的配置文件中，该文件的位置可能因Docker的安装方式和操作系统而异。在某些Linux系统中，该文件可能位于/etc/docker/daemon.json；在Windows系统中，可能需要通过Docker Desktop的图形界面进行设置。

3.3 配置环境变量
docker docker-compose 命令在docker安装目录下的 resource/bin目录，需要将该路径放到到系统变量Path里。
配置环境变量后，可以在命令行中运行以下命令。
docker ps
docker-compose

4、启动docker desktop，clone project(dify) from jitlab

从Docker Hub拉取镜像

Dify.AI · The Innovation Engine for Generative AI Applications
The next-gen development platform - Easily build and operate generative AI applications. Create Assistants API and GPTs based on any LLMs.

安装过程：
git clone https://gitlab.stuq.ceshiren.com/seveniruby/dify.git
cd dify
cd docker
docker-compose up -d
#docker compose up -d

5、启动 dify

cd dify
cd docker
docker-compose up -d
#docker compose up -d

6、打开 127.0.0.1