llamaIndex 基于GPU加载本地embedding模型

最新推荐文章于 2024-06-13 23:10:33 发布

leichangqing

最新推荐文章于 2024-06-13 23:10:33 发布

阅读量1.1k

点赞数 7

分类专栏： Langchain 文章标签： embedding

本文链接：https://blog.csdn.net/leichangqing/article/details/136789366

版权

Langchain 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

llamaIndex 基于GPU加载本地embedding模型

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import Settings
import os

os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "max_split_size_mb:4000"
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
documents = SimpleDirectoryReader("./data/paul_graham").load_data()


Settings.embed_model = HuggingFaceEmbedding(
    model_name="/home/leicq/Documents/LLM_models/bge-large-zh-v1.5"
    
)

index = VectorStoreIndex.from_documents(
    documents,
)
print("hello")