[探索StarRocks：高性能分析数据库的使用指南]

最新推荐文章于 2024-09-30 09:09:52 发布

tt_jishu

最新推荐文章于 2024-09-30 09:09:52 发布

阅读量270

点赞数 5

文章标签：数据库 oracle python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142413087

版权

探索StarRocks：高性能分析数据库的使用指南

引言

在现代数据分析中，性能和实时性是至关重要的。StarRocks作为一款高性能的分析数据库，能够在多维度和实时分析场景中提供卓越的性能。本文将详细介绍如何使用StarRocks作为一个矢量存储库，帮助开发者快速上手并实现高效的数据查询。

主要内容

1. StarRocks简介

StarRocks是一款新一代的MPP数据库，专为全分析场景设计，包括多维分析、实时分析和即时查询。凭借其快速的矢量化执行引擎，StarRocks在ClickBench基准测试中展现了卓越的性能。

2. 环境搭建

在使用StarRocks进行矢量存储之前，需要先安装相关的依赖。

%pip install --upgrade --quiet pymysql langchain-community

设置update_vectordb为False，以便在文档没有更新时避免重建嵌入。

3. 加载和分割文档

首先，我们需要加载所有的Markdown文档，并将它们分割成令牌。

from langchain.chains import RetrievalQA
from langchain_community.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

# 加载docs目录下的所有Markdown文件
loader = DirectoryLoader("./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader)
documents = loader.load()

# 将文档分割成令牌
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)
update_vectordb = True  # 因为有新文档/令牌

4. 创建矢量数据库实例

使用StarRocks作为矢量数据库。

from langchain_community.vectorstores import StarRocks
from langchain_community.vectorstores.starrocks import StarRocksSettings
from langchain_openai import OpenAIEmbeddings

# 配置StarRocks设置
settings = StarRocksSettings()
settings.port = 41003
settings.host = "127.0.0.1"  # 使用API代理服务提高访问稳定性
settings.username = "root"
settings.password = ""
settings.database = "zya"

embeddings = OpenAIEmbeddings()

def gen_starrocks(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = StarRocks.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = StarRocks(embeddings, settings)
    return docsearch

docsearch = gen_starrocks(update_vectordb, embeddings, settings)

5. 构建QA系统并查询

llm = OpenAI()  # 使用OpenAI的语言模型
qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=docsearch.as_retriever())
query = "is profile enabled by default? if not, how to enable profile?"
resp = qa.run(query)
print(resp)  # 输出查询结果