apache doris的一些重点笔记,参数实践调优

参数调优:

FE参数:

这里设置为: 3-5s

bdbje_replica_ack_timeout_second
这里设置为:20 

==================================================

1,命令

SHOW VARIABLES;

show routine load;

SHOW BACKENDS;

HELP ALTER TABLE;


Name: 'ALTER TABLE'
Description:

    该语句用于对已有的 table 进行修改。如果没有指定 rollup index,默认操作 base index。
    该语句分为三种操作类型: schema change 、rollup 、partition
    这三种操作类型不能同时出现在一条 ALTER TABLE 语句中。
    其中 schema change 和 rollup 是异步操作,任务提交成功则返回。之后可使用 SHOW ALTER 命令查看进度。
    partition 是同步操作,命令返回表示执行完毕。

    语法:
        ALTER TABLE [database.]table
        alter_clause1[, alter_clause2, ...];

    alter_clause 分为 partition 、rollup、schema change、rename 和index五种。

    partition 支持如下几种修改方式
    1. 增加分区
        语法:
            ADD PARTITION [IF NOT EXISTS] partition_name 
            partition_desc ["key"="value"]
            [DISTRIBUTED BY HASH (k1[,k2 ...]) [BUCKETS num]]
        注意:
            1) partition_desc 支持一下两种写法:
                * VALUES LESS THAN [MAXVALUE|("value1", ...)]
                * VALUES [("value1", ...), ("value1", ...))
            1) 分区为左闭右开区间,如果用户仅指定右边界,系统会自动确定左边界
            2) 如果没有指定分桶方式,则自动使用建表使用的分桶方式
            3) 如指定分桶方式,只能修改分桶数,不可修改分桶方式或分桶列
            4) ["key"="value"] 部分可以设置分区的一些属性,具体说明见 CREATE TABLE

    2. 删除分区
        语法:
            DROP PARTITION [IF EXISTS] partition_name
        注意:
            1) 使用分区方式的表至少要保留一个分区。
            2) 执行 DROP PARTITION 一段时间内,可以通过 RECOVER 语句恢复被删除的 partition。详见 RECOVER 语句
            
    3. 修改分区属性
        语法:
            MODIFY PARTITION partition_name SET ("key" = "value", ...)
        说明:
            1) 当前支持修改分区的下列属性:
                - storage_medium
                - storage_cooldown_time
                - replication_num 
                — in_memory
            2) 对于单分区表,partition_name 同表名。
        
    rollup 支持如下几种创建

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Apache Doris(孵化器项目)是一个开源的分布式实时据仓库,旨在提供高性能和可伸缩性的据分析和报告能力。它的主要原理和实践如下: 1. 列式存储:Apache Doris使用列式存储来存储据,即将每列的据分开存储在不同的文件中。这种存储方式有助于提高据的压缩率,减少存储空间的占用,并提高据查询的效率。 2. 分布式架构:Apache Doris采用分布式架构,将据分片存储在多个节点上,以实现据的水平扩展和负载均衡。每个节点都有相同的副本,确保据的高可靠性和容错性。 3. Write-optimized:Apache Doris采用了“write-optimized”(写优化)的设计理念,即将写入操作的性能优化至极致。它使用了基于LSM树(Log-structured Merge Tree)的据结构,将写入操作顺序化和批处理,大大提高了写入性能。 4. 计算与存储分离:Apache Doris将计算和存储分离,通过多个计算引擎(如Palo,Spark)对据进行分析和查询。这种架构允许根据需求进行灵活的扩缩容,并提供了多种据接入和导出方式。 在实践中,可以按照以下步骤使用Apache Doris: 1. 安装和配置:首先需要下载和部署Apache Doris,然后进行相关配置,包括节点的IP地址、端口号、据存储路径等。 2. 据导入:将据导入到Apache Doris中,可以通过多种方式,如使用ETL工具、使用JDBC驱动程序或通过API进行据导入。 3. 据模型设计:根据需求设计据模型,包括表的结构、字段名和据类型等。 4. 据分片和分布:根据据量和负载要求,将据分片存储在不同的节点上,并确保据的均衡分布。 5. 据查询和分析:使用SQL语句对据进行查询和分析,通过连接计算引擎对据进行处理和计算,并根据需要生成相应的报表和图表。 6. 集群监控和管理:通过监控工具对集群进行实时监控,包括节点的状态、负载情况和性能指标等,及时发现和解决问题。 总之,Apache Doris通过列式存储、分布式架构、写优化和计算与存储分离等原理,提供了高效可靠的据分析和报告能力。在实践中,可以根据需求进行安装配置、据导入、据模型设计、据查询和分析,以及集群监控和管理等步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值