![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Doris
程裕强
开源是人类最大的公益事业!--程裕强
展开
-
BE节点经常挂掉:[IO_ERROR]failed to list /proc/27349/fd/: No such file or directory
be.out也看不出什么有用日志,查看be.WARNING,发现了如下错误,但还不知道如何解决,先记录一下问题。最近BE节点经常挂掉。原创 2023-11-21 10:16:11 · 879 阅读 · 1 评论 -
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录,仅供参考。原创 2023-10-05 10:33:44 · 2257 阅读 · 0 评论 -
doris错误信息Invalid range value format
原来是order_date的类型 为DATETIME,所以分区范围需要给出日期时间对应的格式。原创 2023-06-08 16:35:03 · 1008 阅读 · 0 评论 -
Doris动态分区
1、说明本文主要是测试Doris动态分区相关功能;关于动态分区相关理论部分请参考官方文档:http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html2、创建一个张按天调度的、不删除历史分区的动态分区表(1)建表语句CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl( id INT, dt DATE, pv BIGI原创 2021-09-02 11:24:14 · 5086 阅读 · 1 评论 -
Doris分区
CREATE TABLE table1 ( siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(siteid, citycode, username) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replica原创 2021-09-01 17:08:01 · 3309 阅读 · 0 评论 -
Doris之ROLLUP
Duplicate 数据模型:DorisDB中的用于存放明细数据的数据模型,建表可指定,数据不会被聚合。Base 表:DorisDB 中通过 CREATE TABLE 命令创建出来的表。Materialized Views 表:简称 MVs,物化视图。https://cloud.baidu.com/doc/PALO/s/kksis5hciROLLUP是物化视图的一个子集。...原创 2021-09-01 15:50:59 · 2587 阅读 · 0 评论 -
DBeaver链接Doris
(1)单击添加按钮(2)选择MySQL类型(3)录入Doris相关参数,单击测试链接按钮(4)可视化界面(5)执行SQL原创 2021-08-31 17:17:12 · 6237 阅读 · 0 评论 -
Doris:部署Broker
如果机器有多个IP,需要配置priority_networks1、启动Broker[root@node1 ~]# cd /app/doris-0.14.13/apache_hdfs_broker/[root@node1 apache_hdfs_broker]# sh bin/start_broker.sh --daemon[root@node1 apache_hdfs_broker]# jps10400 PaloFe12744 Worker14153 BrokerBootstrap12249原创 2021-08-31 16:08:04 · 1437 阅读 · 0 评论 -
Doris数据模型
列可以分为两大类:Key 和 Value。从业务角度看,Key 和 Value 可以分别对应维度列和指标列。Apache Doris主要有3种数据模型:明细模型:Duplicate(重复,复制)模型,表中的Key值(类似关系模型中的主键)可以重复,和插入数据行一一对应。聚合模型:Aggregate(聚合,合计)模型,表中key值不重复,对于插入的数据数据按照key值对value值进行聚合函数合并。更新模型:UNIQUE 模型,聚合类型的特殊情况,key满足唯一性,最新插入的数据替换掉对应key的数原创 2021-08-31 14:26:59 · 2620 阅读 · 1 评论 -
Apache Doris 8030端口
http://10.17.12.160:8030/http://10.17.12.160:8030/backend原创 2021-08-31 10:09:21 · 1260 阅读 · 0 评论 -
Doris集群启动停止脚本
[root@node1 ~]# cat start-cluster.sh#! /bin/bash echo "------正在启动Doris集群------"SERVERS="node1 node2 node3"MASTER="node3"start_fe() { for SERVER in $SERVERS do if [ "$SERVER" = "$MASTER" ]; then ssh $SERVER "/app/doris-原创 2021-08-30 23:05:12 · 845 阅读 · 0 评论 -
Doris集群环境搭建
本文记录按照官网文档进行操作过程1、下载预编译包(1)百度Doris官方网址2021年,百度网址doris.baidu.com/doc已经调整为了https://cloud.baidu.com/doc/PALO/s/Wksis5irl请注意官方提示:适用于CentOS 7.3依赖Oracle JDK 1.8 版本(2)确定CPU是否支持avx2指令检查如下,我使用的是虚拟机,暂不支持avx2指令,因此需要下载对应的no-avx2版本的预编译[root@node3 ~]# cat原创 2021-08-30 11:28:20 · 2748 阅读 · 0 评论 -
Doris客户端
[root@node3 app]# lsjdk1.8.0_301 MySQL-client-5.6.51-1.el7.x86_64.rpm[root@node3 app]# rpm -ivh MySQL-*.rpm警告:MySQL-client-5.6.51-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY准备中... ##########################原创 2021-08-29 21:49:02 · 1961 阅读 · 0 评论 -
Doris的查询计划
1、查询计划SQL语句只告诉机器干什么,没有告诉具体怎么干。DBMS内嵌了查询优化器,对用户透明。但是有时候我们写的SQL语言查询很慢,就需要通过查询计划看看机器具体是怎么执行这个SQL的,确定查询慢的瓶颈问题,然后修改SQL进行优化。2、MySQL查询计划(1)MySQL使用explain + sql语法查看执行计划MariaDB [(none)]> use test;Reading table information for completion of table and column原创 2021-08-26 10:55:46 · 2874 阅读 · 3 评论 -
Doris报错:ERROR 1064 (HY000)
今天遇到一次错误:MySQL [tpa]> select * from tpa.table1;ERROR 1064 (HY000): errCode = 2, detailMessage = Failed to get scan range, no queryable replica found in tablet: 11018MySQL [tpa]>(1)查看BE集群信息,没有发现问题MySQL [tpa]> show backends \G****************原创 2021-08-25 16:44:41 · 11138 阅读 · 0 评论 -
Spark Doris Connector试错
http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9import org.apache.doris.spark._val dorisSparkRDD = sc.dorisRDD( tableIdentifier = Some("$YOUR_DORIS_DATABASE_NAME.$YOUR_DORIS_TABLE_NAM原创 2021-08-13 11:22:54 · 1227 阅读 · 1 评论 -
Apache Doris BE错误 ErrMsg: invalid cluster id. ignore.
1、ErrMsg: invalid cluster id. ignore.当前Doris的网上材料还是非常稀少的,需要了一个BE问题,困扰了很长时间。MySQL [(none)]> SHOW PROC '/backends'\G*************************** 1. row *************************** BackendId: 10002 Cluster: default_cluster原创 2021-08-13 10:07:53 · 3340 阅读 · 4 评论 -
Apache Doris集群搭建(BE扩容)
BE 节点的扩容和缩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小,集群会在几个小时到1天不等的时间内,恢复到负载均衡的状态。1、添加两个BE节点(1)命令ALTER SYSTEM ADD BACKENDMySQL [(none)]> ALTER SYSTEM ADD BACKEND "10.17.12.158:9050";Query OK, 0 rows affected (0.02 sec)MySQL [(none原创 2021-08-06 23:53:46 · 2540 阅读 · 0 评论 -
Apache Doris集群搭建(FE扩容)
参考官方文档http://doris.apache.org/master/zh-CN/installing/install-deploy.html#%E6%89%A9%E5%AE%B9%E7%BC%A9%E5%AE%B91、现有FE节点前面博文已经介绍搭建了一个FE节点[root@node3 fe]# sh bin/start_fe.sh --daemon[root@node3 fe]# jps7234 Jps7160 PaloFe[root@node3 fe]# [root@node3原创 2021-08-06 23:37:04 · 2766 阅读 · 0 评论 -
Apace Doris基本操作测试
注:本文仅是记录操作过程参考官方文档:https://doris.apache.org/master/zh-CN/getting-started/basic-usage.html1、修改密码MySQL [(none)]> SET PASSWORD FOR 'root' = PASSWORD('123456');Query OK, 0 rows affected (0.01 sec)MySQL [(none)]> MySQL [(none)]> exitBye[root@原创 2021-08-06 16:43:19 · 984 阅读 · 0 评论 -
Apache Doris下载安装与启动
1、下载软件包(1)官网http://doris.apache.org/master/zh-CN/downloads/downloads.html官网上需要下载源码进行编译安装。(2)直接下载编译后软件包https://www.dorisdb.com/zh-CN/download/community2、解压&启动FE(1)解压[root@node3 opt]# tar -zxvf apache-doris_apache-doris-0.12.0-incubating-bin.ta原创 2021-08-06 15:45:08 · 4129 阅读 · 3 评论