- 博客(27)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 Flink On Yarn模式配置
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装FlinkFlink On Yarn模式配置引言 Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 准备三台机器 1.1.1.1 node1 1.1.1.2 node2 1.1.1.3 node3一、安装JDK1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
2021-10-18 15:48:21
10502
3
原创 Doris 2.1.0 Variant 新特性验证
在存储占用方面，采用 Variant 数据类型后，存储占用下降约74%（测试数据较少），与官方宣传测试相符；在查询速度方面，采用 Variant 数据类型后，查询速度提升倍数不一（测试样例少），但可发现，在需要过滤、聚合、子查询中使用 get_json_string 解析时，Variant 数据类型查询速度提升极其可观；目前 Variant 暂不支持 Aggregate 模型，也不支持将 Variant 类型作为 Unique 或 Duplicate 模型的主键及排序键；
2024-04-10 15:04:45
1011
原创 X2Doris实现Hive离线数据自动化一键迁移至Doris
X2Doris 是 SelectDB （Doris主要开发维护团队）开发的，专门用于将各种离线数据迁移到 Apache Doris 中的核心工具，该工具集 自动建 Doris 表 和 数据迁移 为一体，目前支持了 Apache Doris/Hive/Kudu、StarRocks 数据库往 Doris 或 SelectDB Cloud 迁移的工作，整个过程可视化的平台操作，非常简单易用，减轻数据同步到 Doris 中的门槛。
2024-03-28 16:46:36
1495
原创 Doris Cluster Manager 安装部署及使用
Cluster Manager for Apache Doris（简称 Doris Manager）是 Doris开发团队推出的管理运维 Apache Doris集群的工具，完全兼容Doris，可实时监控各项指标。Doris Manager作为一个专门针对Doris的运维监控软件，对Doris百分百兼容，功能多多，版本稳定且迭代较快，各种功能还得自己上手实践才能熟练运用。
2024-03-28 15:34:14
1972
原创 Doris实时数仓ods层构建
实时数仓（Real-time Data Warehouse）的ODS层（Operational Data Store）通常位于整个数据仓库架构中的第一层或最底层，用于存储原始、实时或近实时的操作性数据。
2023-10-08 09:37:11
3376
原创 flink streamload写入doris
详细介绍了基于flink 1.16的各种写入方式，本文主要介绍的是基于flink 1.13的RowData 数据流(RowDataSerializer)写入
2023-09-14 09:43:43
4008
原创 Flink获取维表数据实时join
数仓的dim层用于存放业务的维表数据，业务数据一般存放在关系型数据库。维表可用Flink CDC、Maxwell、Canal等方式，通过监听Mysql binlog的方式实现增量同步。
2023-07-17 09:52:24
3816
1
原创 Flink StreamingFileSink写入hdfs，文件一直处于inprogress
文件一直处于inprogress归根结底就是checkpoint不成功。使用StreamingFileSink 时需要启用 Checkpoint ，每次做 Checkpoint 时写入完成后，桶中临时文件转成正式文件。如果 Checkpoint 被禁用，部分文件（part file）将永远处于 ‘in-progress’ 或 ‘pending’ 状态，下游系统无法安全地读取。...
2022-08-19 11:19:03
5584
原创 Flink消费Kafka插入Clickhouse
Flink消费Kafka插入Clickhouse目录Flink消费Kafka插入Clickhouse一、Maven依赖二、Job类二、Kafka FlatMap算子三、Clickhouse FlatMap算子四、Clickhouse建表一、Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cl
2022-05-31 14:18:50
4614
原创 Error querying database.Cause:java.lang.RuntimeException:no column ID in columns list[id,age,name]
MyBatis连接clickhouse是遇到错误Exception in thread "main" org.apache.ibatis.exceptions.PersistenceException:Error querying database.Cause:java.lang.RuntimeException:no column ID in columns list[id,age,name]错误原因：该clickhouse的表的列为小写clickhouse大小写敏感，mybatis连接cli
2021-10-25 14:43:59
4461
原创 Java Lombok使用介绍
Java Lombok使用介绍简介使用方法1、下载插件2、导入依赖3、注解使用1、@Data2、@Getter/@Setter3、@Cleanup4、Lombok的优缺点简介 Lombok是一个可以通过简单的注解形式来帮助我们简化消除一些必须有但显得很臃肿的Java代码的工具，通过使用对应的注解，可以在编译源码的时候生成对应的方法，提高开发人员的效率。 例如开发中经常需要写的javabean，都需要花时间去添加相应的getter/setter，也许还要去写构造器、equals等方法，而且需要维
2021-09-30 17:18:32
4874
原创 Clickhouse集群模式安装
Clickhouse集群模式安装前言1.集群节点信息2.搭建zookeeper集群3.搭建clickhouse集群前言安装clickhouse集群模式前需得安装zookeeper集群1.集群节点信息1.1.1.11 node11.1.1.12 node21.1.1.13 node32.搭建zookeeper集群安装zookeeper前，先安装jdk# 下载 zookeeper-3.4.12.tar.gz 安装包，并上传至三台服务器tar -zxvf zookeeper-3.4.12
2021-07-23 10:32:48
5094
4
原创 Clickhouse通过odbc连接获取Mysql/Oracle数据
Clickhouse通过odbc连接获取Mysql/Oracle数据文章目录Clickhouse通过odbc连接获取Mysql/Oracle数据引言odbc使用步骤1.安装依赖环境2.下载mysql ODBC驱动程序3.修改配置文件4. 检查连接5.用例测试总结引言odbc：通过jdbc的方式来连接到外部数据库，为实现这连接，需要借助unixODBC这一组件unixODBC unixODBC是一个来连接数据库的组件，该版本主要支持64位的SQLLEN，能让你你在UNIX/Linux系统下使
2021-07-21 15:40:23
5591
原创 Clickhouse通过jdbc连接获取Mysql/Oracle数据
Clickhouse通过jdbc连接获取Mysql/Oracle数据文章目录Clickhouse通过jdbc连接获取Mysql/Oracle数据引言jdbc使用步骤1. 下载clickhouse-jdbc-bridge插件2.导入jdbc mysql/oracle依赖3. 配置json文件（也可不配置json）4. 启动clickhouse-jdbc-bridge5. 操作实例不配置json文件总结引言Clickhouse连接获取Mysql/Oracle数据的方式主要为jdbc和odbc两种。jd
2021-07-21 15:36:02
6837
1
原创 Clickhouse不影响存储数据的情况下版本升级
Clickhouse版本升级官方文档下载地址一、版本升级1. 上传新版rpm安装包2. 停止原先clickhouse服务3. 备份配置文件4. 查看安装列表5. 依次卸载组件6. 安装新版本7. 恢复配置文件7. 按需求修改配置文件8. 启动服务注意官方文档下载地址https://repo.clickhouse.tech/rpm/stable/x86_64/一、版本升级1. 上传新版rpm安装包2. 停止原先clickhouse服务# 查看进程号ps -ef | grep clickho
2021-07-14 15:09:33
4990
原创 Clickhouse单机模式安装
Clickhouse安装及版本升级官方文档下载地址一、安装1. 查看已下载rpm包2. 一键安装3. 修改配置文件4. 服务启动5. 客户端连接6. 服务停止官方文档下载地址这里选用的是下载号rpm包，离线安装。需要下载四个同版本的rmp包：client、server、common-static、server-commonhttps://repo.clickhouse.tech/rpm/stable/x86_64/一、安装1. 查看已下载rpm包将四个rpm包存放到同一目录下并查看ls
2021-07-14 15:02:25
1982
原创 Oracle SQL 适配Clickhouse SQL
Oracle SQL 适配Clickhouse SQL前言1.数据类型1.Oracle2.Clickhouse3.适配举例2.关键字和函数前言Oracle sql和clickhouse sql主要的区别在于数据类型、关键字和函数1.数据类型常见的数据类型主要可以分为字符型、数字型、时间型1.Oracleoracle相比于常见类型，还有大对象数据类型和RAW和ROWID数据类型字符型： VARCHAR2、NVARCHAR2、CHAR数字型： NUMBER、FLOAT、INTERGER时间
2021-07-08 14:49:18
2428
原创 Clickhouse物化视图常见疑问
常见疑惑1. 原表大批量插入数据时，物化视图写入是否有延迟 如下图，原表只有300000400条数据 现在原表中插入100000000条数据，总耗时24.4秒在这插入过程中，另起一客户端查看物化视图其插入情况 物化视图中的数据总数一直在变化 结论：物化视图的写入基本不存在延迟2. 原表数据插入、更新、删除等操作，物化视图表是否会随之更改插入 如第一问所示，物化视图会随原表插入数据而更改更新 原表和物化视图中都有一条userid为100的数据 更新原表中us
2021-06-28 17:24:30
4236
原创 Clickhouse物化视图进阶：Projection
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档ProjectionClickhouse物化视图进阶：Projection概念特点缺陷分类如何选择正确地ProjectionClickhouse物化视图痛点Projection使用通用的机制完备地解决了前述三大问题Projection的一致性保障Clickhouse物化视图进阶：Projection概念Projection概念由C-Store提出，并在Vertica数据库中落地发展(不同于SQL中的Projection运算)Pr
2021-06-17 15:52:53
4900
原创 Clickhouse物化视图
Clickhouse物化视图讲解概念语法数据更新案例基于单机表引擎MergeTree创建download表插入数据查看数据创建物化视图查看视图模拟产生新数据查询验证试图聚合计算基于集群分布式表引擎ReplicatedMergeTree创建本地表创建分布式表插入数据查看数据创建物化视图查询验证试图聚合计算概念物化视图是查询结果集的一份持久化存储，与关系型数据库的普通视图不同，且非常趋近于表。物化视图不会随着基础表的变化而变化，所以它也称为快照（snapshot）。如果要更新数据的话，需要用户手动进行，如周
2021-06-17 15:32:50
2195
原创 Spark转化算子map和flatMap的区别
Spark转化算子map和flatmap的区别初学spark，之前一直弄不懂map和flatmap的区别，记录下学习过程。map将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX数学
2020-11-27 17:50:52
1704
1
空空如也
关于Flink广播流中主流和广播流执行顺序的问题
2022-08-10
hadoop ha模式 standby namenode启动失败
2022-07-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人