llama2&mojo聊天应用

---

前言

  mojo是人工智能模型的新语言，到底性能如何，我们将在这里一探究竟。

---

一、拉取项目

  获取项目地址。

  git命令拉取。

git clone https://github.com/tairov/llama2.mojo.git

二、镜像制作

  项目中，有一个Dockerfile用于制作镜像。Dockerfile 需要修改。

FROM ubuntu:20.04

ARG DEFAUL_TZ=Asia/Shanghai
ENV DEFAULT_TZ=$DEFAULT_TZ
ARG MODULAR_HOME=/home/user/.modular
ENV MODULAR_HOME=$MODULAR_HOME

RUN apt-get update \
    && DEBIAN_FRONTEND=noninteractive $DEFAULT_TZ apt-get install -y \
    python3.8-venv \
    tzdata \
    vim \
    sudo \
    curl \ 
    python3 \
    pip \
    wget \
    && python3 -m pip install \
    jupyterlab \
    ipykernel \
    matplotlib \
    ipywidgets \
    gradio 

# RUN curl -fsSL https://repo.anaconda.com/miniconda/Miniconda3-py38_23.5.2-0-Linux-x86_64.sh > /tmp/miniconda.sh \
#     && chmod +x /tmp/miniconda.sh \
#     && /tmp/miniconda.sh -b -p /opt/conda

ARG AUTH_KEY=mut_1ab442b0938f435388ecc1851d9b6286
ENV AUTH_KEY=$AUTH_KEY

RUN curl https://get.modular.com | MODULAR_AUTH=$AUTH_KEY sh - \
    && modular install mojo 

RUN useradd -m -u 1000 user
RUN chown -R user $MODULAR_HOME

ENV PATH="$PATH:/opt/conda/bin:$MODULAR_HOME/pkg/packages.modular.com_mojo/bin"

# RUN conda init 
RUN pip install gradio

USER user
WORKDIR $HOME/app

COPY --chown=user . $HOME/app
RUN wget -c https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin
RUN wget -c https://huggingface.co/karpathy/tinyllamas/resolve/main/stories42M.bin
RUN wget -c https://huggingface.co/karpathy/tinyllamas/resolve/main/stories110M.bin
#以下两个命令可以选择，可以是网页端的形式，可以是命令行的形式
# CMD ["mojo", "llama2.mojo"]
CMD ["python3", "gradio_app.py"]

docker build -t lincaigui/llama2-mojo .

  推送至docker hub。

docker push lincaigui/llama2-mojo:latest

三、测试项目

  制作镜像的时候，下面设置是没有GUI的。

docker run -it lincaigui/llama2-mojo:latest

  下面这个有GUI，但是需要把Dockerfile最后一个命令反注释掉。

# uncomment the last line in Dockerfile CMD ["python", "gradio_app.py"]
docker run -it -p 0.0.0.0:7860:7860 lincaigui/llama2-mojo:latest

  可以看到使用网页版的llama2推理的速度是112 tok/s，还是可以了。

---

总结

  我们没有进行Python环境，命令行，C环境对比。从结果来看mojo推理大模型确实很厉害，足以支撑应用，我已经开始期待用mojo编写大模型算法。如果你想测试，可以直接拉取镜像lincaigui/llama2-mojo:latest。