手机上运行chatglm 6b

转载自：https://hgf.icu/t/topic/42

 

### 1. 准备工作

 

#### 安装 Termux：

- 在 Android 设备上打开 Google Play 商店，搜索并安装 Termux 应用。

 

#### 更新 Termux：

- 打开 Termux，输入以下命令来更新包列表和安装包：

  ```

  apt update

  apt upgrade

  ```

 

### 2. 安装必要的依赖

 

#### 安装 CMake、GCC、Make 和必要的开发工具：

```

apt install cmake gcc make

```

 

#### 安装 Python3 和 pip3（用于安装 Python 包）：

```

apt install python3 python3-pip

```

 

#### 安装 OpenSSL（如果需要 HTTPS 支持）：

```

apt install openssl

```

 

### 3. 下载和编译 fastllm

 

#### 克隆 fastllm 仓库：

```

git clone https://github.com/ztxz16/fastllm.git

```

 

#### 进入 fastllm 目录：

```

cd fastllm

```

 

#### 创建 build 目录并进入：

```

mkdir build && cd build

```

 

### 4. 编译 fastllm

 

#### 如果你的设备支持 ARM NEON 指令集，可以使用以下命令编译：

```

cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_CXX_FLAGS=-march=armv8.2a+dotprod ..

```

 

#### 如果你的设备是 x86 架构，可以使用以下命令编译：

```

cmake ..

```

 

### 5. 用 make 编译

```

make -j 使用的核心数

```

 

### 6. 下载和准备模型

 

#### 下载模型：

从 Hugging Face 模型库下载 chatglm2 模型。你可以使用以下命令：

```

wget https://hf-mirror.com/huangyuyang/chatglm2-6b-int4.flm/resolve/main/chatglm2-6b-int4.flm?download=true

```

 

### 7. 运行 fastllm

 

#### 运行聊天程序：

在 fastllm/build 目录下，运行以下命令来启动聊天程序：

```

./main -p 模型位置

```

 

搞完了之后你就可以跟模型 VAN 游戏了 😋

模型在骁龙865上速度大约为4~5 token / s

 

 

（测试）