StarRocks数据库部署全记录(保姆式帮助你初次体验StarRocks)

已于 2023-08-03 09:34:07 修改
阅读量2.5k 收藏 13
点赞数
文章标签： 数据库 StarRocks 大数据 starrocks 星环数据库
于 2023-08-02 18:35:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heng000000/article/details/132068400
版权

因业务需要，特此了解StarRocks产品和部署。
接触过程中发现指导资料很稀少，本人将结合官方的手册+其他开源博主指导，将第一次接触到的概念和部署流程梳理，得出本文。
已有的资源中对细节介绍欠缺，导致我本人整个过程中花费了大量时间去验证。这也是本文独特之处

目录

了解星环数据库

  • 1 什么是星环数据库？

StarRocks（星环数据库），一款国产开源的分析性数据库管理系统。专注于实时查询和分析大规模数据。

  • 2 为什么使用StarRocks？

  若项目中已经使用了优化查询，库的分页分表，硬件升级，缓存，ES引擎这些方案提高查询效率后，发现查询效率仍不高，表明在处理此量级别的数据时，mysql性能受限。因此需要更换一款具有更强性能处理海量数据（PB级别及以上）的数据库

  若项目中需要及时获得最新的数据分析结果或需要快速查询大规模数据集，StarRocks具有出色的查询性能和可扩展性，其使用列式存储和分布式架构，可轻松处理大规模数据集，并提供更快的查询效率

  SatrtRocks处理海量结构化数据的存储，ES提供非结构化数据的全文搜索和分析能力，针对海量数据存储和数据搜索的需求，SatrRocks+ES是一套成熟的解决方案。

  总而言之，StarRocks是专门为分布式场景和处理大规模数据研发的，只是说其2022年开发版本进入2.0，且未实现全平台兼容。不如mysql稳定性强和庞大的社区规模。

  • 3 使用前注意事项？

StarRocks对部署的硬件有一定的要求。不符合要求的环境会无法启动或者性能不佳。

x86环境

  StarRocks现仅支持拥有avx2指令集的x86架构的cpu；不支持avx2指令集的x86架构的cpu无法启动StarRocks。（但可以修改StarRocks源码启动，仅供学习使用，不推荐）


Arm环境
  arm环境不提供指令集SIMD指令集，因此需要手动编译二进制文件（无法发挥StarRocks全部性能）

总结来说：StarRocks仅支持部分X86环境

  • 4 安装设备要求

必须 CentOS 7操作环境；（经测试，不支持其他测试环境：red hat）
必须 内存16G及以上； (经测试，不满足有概率无法添加FE节点)
磁盘空间200G及以上；
cpu 8核；（6核也行，推荐8核）

（不满足以上条件在部署时会极大概率会导致失败）

  • 5 手动部署流程

本文将会在一台服务器上进行如下操作
  1） 安装mysql
  2） 安装+配置JDK
  3） 安装StarRocks
  4） 启动FE+添加节点
  5） 启动BE+添加节点





部署前准备

1）判断服务器环境是否支持部署，输入命令后有输出内容代表通过

cat /proc/cpuinfo | grep avx2

2）检查端口是否被占用

netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9050

StarRocks启动会默认占用此端口，若被占用，可以放开此端口（推荐）或在后面部署StarRocks中修改默认端口。

3）最佳的StarRocks部署方案

一台服务器只能部署一个FE节点
可以多台服务器部署多个FE节点搭建FE集群（节点会自动选主）

一台服务器部署一个BE节点
可以多台服务器部署多个BE节点搭建BE集群

每个服务器上部署一个Broker节点

4) 基本概念

FE节点
  负责查询规则，查询调度（连接数据库，解析执行sql）
BE节点
  负责存储数据
Broker节点
  负责数据的导入导出。（StarRocks—Broker—Hadoop）

部署

1.1部署单个FE节点

创建目录，分别上传对应的压缩包
/home
  --mouble
     --JDK
      – jdk-8u271-linux-x64.tar.gz
     --MySQL
       --mysql80-community-release-el7-9.noarch.rpm
    --StarRocks
      – StarRocks-3.0.4.tar.gz

1.1.1 安装mysql

在这里插入图片描述

  1. 安装软件包
    yum install mysql80-community-release-el7-9.noarch.rpm
    在这里插入图片描述

  2. 安装mysql
    yum install mysql-community-server
    在这里插入图片描述

  3. 启动mysql
    systemctl start mysqld

  4. 检查mysql是否启动
    systemctl status mysqld
    在这里插入图片描述

1.1.2 安装JDK

在这里插入图片描述

注意一下
在这里插入图片描述

1）解压
tar -zxvf /home/mouble/JDk/jdk-8u271-linux-x64.tar.gz

2）编辑profile文件
vim /etc/profile
添加以下命令

JAVA_HOME=/home/mouble/JDk/jdk1.8.0_271
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

在这里插入图片描述

3）检查java是否安装成功
java -version

在这里插入图片描述


1.1.3 安装StarRocks

在这里插入图片描述

1）解压到本地当前目录
tar -zxvf StarRocks-3.0.4.tar.gz
得到此文件夹，cd进入，后续操作都在/StarRocks-3.0.4路径下
在这里插入图片描述

2）修改fe.conf文件内容：需要将内存升级到16G以上
  切换路径
cd /StarRocks-3.0.4/fe/conf/

  编辑fe.conf
vim fe.conf

  替换内容

JAVA_OPTS = "-Xmx4096m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$STARROCKS_HOME/log/fe.gc.log"

在这里插入图片描述

1.1.4 启动FE节点

1）创建元数据目录 mate：存放生产的元数据，此目录不会自动创建
  切换路径到/fe
cd /StarRocks-3.0.4/fe/

  创建文件
mkdir mate

在这里插入图片描述

2）启动FE节点
  以守护进程的形式启动
./start_fe.sh --daemon

  jps命令查看java相关的进程信息：出现FE
jps
在这里插入图片描述

3）在日志中查看FE是否启动成功
  切换路径 /StarRocks-3.0.4/fe/log/
  查看启动日志 cat fe.log
在这里插入图片描述

4）浏览器登陆数据库是否启动成功
  （本服务地址是：192.168.148.13）替换成自己的
  账号：root 密码：无 （输入地址后会弹出来输入框）

在这里插入图片描述
在这里插入图片描述

1.1.5 以Mysql客户端方式连接FE实现添加节点

1）测试链接
mysql -h 192.168.148.13 -uroot -P9030 (只需替换自己的IP)
解释：默认密码是空，默认FE端口是9030
在这里插入图片描述

2）查看FE情况
SHOW PROC '/frontends'\G
在这里插入图片描述

3）退出mysql（仅告诉你如何退出，先不要退出mysql）
mysql> exit

至此，FE设置完毕！

1.2 部署单个BE节点

重启一个新的终端（不要关闭上一个终端）
在这里插入图片描述

  1. 创建storage目录存放BE元数据

切换路径 cd /StarRocks-3.0.4/be/
创建文件夹 mkdir storage
在这里插入图片描述

  1. 使用mysql客户端添加新终端对应be节点

在上一个终端界面操作
ALTER SYSTEM ADD BACKEND "192.168.148.13:9050";

在这里插入图片描述

解释 IP地址—启动BE节点的服务器IP，这里我们使用的同一台服务器，原则上应该是新的服务器。 9050端口：默认BE端口

  1. 启动BE
    在新的终端界面操作
    bin/start_be.sh –daemon（注意启动前路径是否在/be）

在这里插入图片描述

  1. 查看BE是否启动成功
    ps -ef | grep starrocks_be
    BE使用C++编写，使用ps命令查看进程，若发现有starrocks_be进程，即为启动成功：
    在这里插入图片描述

  2. 以mysql方式访问BE状态
    在上一个终端界面输入SHOW PROC '/backends'\G

在这里插入图片描述

至此 BE节点成功启动！



1.3 部署Broker节点

正常应该是有几个服务器，部署几个Broker节点

  1. 切换路径
    在这里插入图片描述

  2. 启动Broker节点
    ./start_broker.sh --daemon
    在这里插入图片描述

  3. 添加Broker节点
    broker1：自定义的broker名字
    ALTER SYSTEM ADD BROKER broker1 "192.168.148.13:8000";
    在这里插入图片描述

  4. 检查Broker节点
    SHOW PROC "/brokers"\G
    在这里插入图片描述

1.4 停止节点

1.4.1 停止FE节点

注意文件路径/StarRocks-3.0.4/fe/bin/stop_fe.sh –daemon
./stop_fe.sh –daemon

1.4.2 停止BE节点

注意文件路径/StarRocks-3.0.4/be/bin/stop_fe.sh –daemon
./stop_be.sh –daemon

1.5 删除BE节点

mysql> alter system dropp backend '192.168.148.13:9050';

1.6 卸载MySQL

查看有哪些安装包需要卸载
rpm -qa | grep -i mysql

在这里插入图片描述

1）关闭mysql服务
service mysql stop

2）查看mysql状态是否关闭
systemctl status mysql

3）从系统中删除MySQL及其相关的软件包
yum remove mysql-server mysql-client mysql-common
yum autoremove
yum clean all

4）检查是否卸载干净 rpm -qa | grep -i mysql
还存在就执行: rm -ev 安装包名

1.7 卸载JDK

yum remove java-1.8.0-openjdk
java -version

Wyatt_zhai
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
mysql数据库保姆教程
02-25
本保姆教程将带你深入理解MySQL，从基础安装到高级操作，全方位提升你的数据库技能。 1. MySQL安装与卸载 - 安装：在Windows系统中，可以通过官方网站下载安装包，按照向导进行一步步安装。对于Linux用户，可以...
数据库中的物化视图的使用保姆级
12-25
数据库中的物化视图的使用保姆级 物化视图是数据库中的一种特殊的物理表，它可以存储 SQL 执行语句的结果，从而起到缓存的效果，以空间换取时间。相比普通视图，物化视图可以提供更好的性能，因为普通视图是虚拟表...
mysql数据库,带全套保姆教程
02-25
mysql数据库,带全套保姆教程
大数据StarRocks(一) StarRocks概述
运维仙人
01-02 1259
StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。
最全大数据StarRocks(一) StarRocks概述(2)，2024年最新一招教你看懂Netty
最新发布
2401_84182146的博客
05-12 1127
StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。
StarRocks 集群安装部署文档-保姆级
cz124560的博客
02-01 2241
StarRocks官网： https://docs.starrocks.io/zh/docs/introduction/StarRocks_intro/ 部署前提条件 StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力。因此，在生产环境中，强烈建议您将 StarRocks 部署于 x86 架构 CPU 的服务器上。 您可以在终端中运行以下命令来检查 CPU 是否支持 AVX2 指令集：说明 ARM 架构不支持 SIMD 指令集，因此在某些场景下的性能不及 x86 架构。我们只推荐您在开发环境中
StarRocks 2.3.0 安装部署
我思，顾我在
08-19 2860
StarRocks 是一个高性能、兼容 MySQL 的分布式关系列式数据库。 StarRocks 利用关系在线分析处理 (OLAP) 数据库和分布式存储系统。 StarRocks 致力于为企业用户提供多种数据分析场景。它支持多种数据仓库模式（平面表、预聚合、星型或雪花模式）、多种数据导入方法（批处理和流式传输），并允许直接访问来自 Hive、MySQL 和 Elasticsearch 的数据而无需导入。 StarRocks 使用分布式架构将表水平划分并存储在多个副本中。这些集群具有高度可扩展性，因此支持 1
StarRocks简介与搭建使用
qq_70696245的博客
03-27 2106
StarRocks 是一款高速、实时、全场景的MPP（大规模并行处理）分析型数据库系统，专为现代数据分析场景设计，强调亚秒级查询性能和高并发能力。它兼容MySQL协议，使得用户可以利用现有的MySQL客户端工具和BI工具进行查询和数据分析。StarRocks基于MPP架构，采用全向量化执行引擎、列式存储技术和智能优化器等先进技术，实现了数据的快速加载、实时更新以及复杂查询的高效处理。可以满足企业级用户的多种分析需求，广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
10分钟带你全面了解StarRocks
hellozhxy的博客
07-19 7970
StarRocks 是一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容，金融级高可用，兼容 MySQL 5.7 协议和 MySQL 生态，提供全面向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能，实时性，并发能力和灵活性有较高要求的各类应用场景。
StarRocks简介及安装
q495673918的博客
10-31 5039
StarRocks 是一款高性能分析型数据仓库，既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
大数据技术8：StarRocks极速全场景MPP数据仓库
何哥的博客
12-10 2422
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
通过 docker-compose 快速部署 StarRocks 保姆级教程
匠人精神，持之以恒！
06-12 2268
StarRocks是一个开源的分布式OLAP（在线分析处理）数据库，旨在提供高性能、低延迟的数据分析和查询能力。它最初由中国的猎豹移动公司（Cheetah Mobile）开发，并于2016年开源。列式存储：StarRocks使用列式存储，将数据按列存储在磁盘上，以提高数据的压缩率和查询性能。列式存储有助于减少I/O开销和提高数据扫描效率。分布式架构：StarRocks基于分布式架构设计，可以水平扩展以处理大规模数据集。它支持数据分片和分布式计算，可以将数据和计算任务分布在多个节点上并行处理。多维数据模型。
StarRocks 3.0 集群安装手册
张冲andy的博客
04-25 2526
StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。StarRocks 架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO (Cost Based Optimizer) 优化器，查询速度（尤其是多表关联查询）远超同类产品。
html5绿色响应式家政服务保姆月嫂雇佣平台网站模板
07-12
HTML5绿色响应式家政服务保姆月嫂雇佣平台网站模板是一种专门为家政服务业设计的网页模板，它充分利用了HTML5的最新技术和响应式布局，旨在为用户提供流畅且适应各种设备的浏览体验。在这个模板中，我们可以看到以下...
婴幼儿保姆服务中心响应式网页模板
01-21
响应式网页设计是一种现代网页开发技术，它使得网站在不同设备上，如桌面电脑、平板电脑和智能手机上，都能提供良好的用户体验。婴幼儿保姆服务中心响应式网页模板是专门为这类服务机构设计的，旨在通过优化布局和...
StarRocks三节点集群部署
moxiong3212的博客
04-17 1481
StarRocks三节点集群部署
StarRocks入门部署
itwxming的博客
08-11 2106
StarRocks 是一款高性能分析型数据仓库。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
Starrocks集群部署
ALIVEE的博客
04-23 6051
背景：最近几年OLAP数据库可谓是百家争鸣，许多产品都陆陆续续的展现出来，不过最近据说StarRocks的综合能力比较好，对比于Clickhouse这种强大的竞品也毫不逊色！ 下方是官方给出的一些资料介绍，我这里截取了几张比较重要的图（官方文档传送门：StarRocks @ StarRocks_intro @ StarRocks DocsStarRockshttps://docs.starrocks.com/zh-cn/main/introduction/StarRocks_intro） 1.发展路程
StarRocks 集群安装部署文档
Shockang的博客
01-22 4099
本文是包括大数据集群服务器一般配置步骤、mysql5.7安装部署、starrocks HA 集群安装部署、datax+datax-web安装部署
oracle数据库安装 保姆
08-13
您好！要安装Oracle数据库，我可以给您提供一些基本的步骤和指导。 1. 首先，确保您的系统满足Oracle数据库的硬件和软件要求。您可以参考Oracle官方文档来了解详细的系统要求。 2. 下载适用于您操作系统的Oracle数据库安装程序。您可以在Oracle官方网站上找到适合您系统版本的安装程序。 3. 运行安装程序，并按照提示进行设置和配置。这包括选择安装类型（例如单机或集群），设置数据库名称和密码，选择数据库文件存储位置等。 4. 在安装过程中，您可能需要设置一些环境变量，如ORACLE_HOME和PATH，以便系统能够正确地找到和访问Oracle数据库。 5. 完成安装后，您可以启动Oracle数据库实例，并使用SQL*Plus或其他工具连接到数据库。通过连接到数据库，您可以创建表空间、用户、表等数据库对象。 请注意，Oracle数据库的安装和配置过程可能因版本和操作系统而有所不同。如果您遇到任何问题，建议您参考Oracle官方文档或寻求相关技术支持。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值