2021年09月_程裕强

11月 10月 09月 08月 05月 04月 02月

原创最新的SpringCloud与SpringBoot对应关系

1、SpringCloud与SpringBoot版本冲突[INFO] Validation error:[ERROR] org.apache.maven.artifact.InvalidArtifactRTException: For artifact {org.springframework.cloud:spring-cloud-starter-netflix-eureka-server:null:jar}: The version cannot be empty.[ERROR] Maven se

2021-09-16 13:55:20 1621 1

原创 Flink+Kafka：FlinkKafkaProducer简单样例

1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o

2021-09-11 18:59:48 2200

原创 Flink+Kafka：FlinkKafkaConsumer简单样例

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav

2021-09-10 11:16:41 1881

原创 Flink报错记录

[20210910 10:16:40.107] [DEBUG] [main] [StreamGraph.java:391][addOperator] Vertex: 2java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFa

2021-09-10 10:51:25 1504

原创 Kafka集群（ 2.8.0版本）之四：Java简单实现生产者和消费者

2021-09-06 22:13:40 1794 2

原创 Kafka集群（ 2.8.0版本）之三：消费者组

1、启动两个消费者，属于同一个消费者组test[root@node2 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root@node3 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root

2021-09-06 15:00:41 357

原创搭建Kafka集群（ 2.8.0版本）之二

1、创建Topic（1）创建topic[root@node3 kafka-2.8.0]# bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic testCreated topic test.[root@node3 kafka-2.8.0]#–zookeeper：为zk服务器地址，已逗号分割配置多个–replication-factor：分区leader

2021-09-05 20:50:19 530 1

原创 Kafka集群(2.8.0版本)快速入门

参考官方文档，一步步执行https://kafka.apache.org/documentation/#quickstart（1）下载最新版Kafka[root@node1 app]# tar -zxvf kafka_2.13-2.8.0.tgz[root@node1 app]# mv kafka_2.13-2.8.0 kafka-2.8.0[root@node1 app]# cd kafka-2.8.0/（2）启动Kafka环境先启动内置的Zookeeper[root@node1 kaf

2021-09-04 22:58:43 464

原创搭建Kafka集群（ 2.8.0版本）之一

1、启动zookeeper集群Kafka最新版本2.8.0可以不依赖zookeeper，但是仍然测试阶段，所以官方不推荐使用，因此还是要使用zookeeper集群。[root@node1 ~]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[root@node1 ~]#[

2021-09-03 21:49:08 1308

原创查看zookeeper事务日志

1、日志文件（1）Zookeeper的日志文件位置，在配置文件zoo.cfg的dataDir指定。我的配置如下dataDir=/tpdata/zookeeper（2）日志文件zookeeper的日志为二进制格式文件，不能直接查看[root@node2 version-2]# pwd/tpdata/zookeeper/version-2[root@node2 version-2]# ll总用量 252-rw-r--r-- 1 root root 2 8月 22 00:29

2021-09-03 14:42:24 2885

原创 Doris动态分区

1、说明本文主要是测试Doris动态分区相关功能；关于动态分区相关理论部分请参考官方文档：http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html2、创建一个张按天调度的、不删除历史分区的动态分区表（1）建表语句CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl( id INT, dt DATE, pv BIGI

2021-09-02 11:24:14 5159 1

原创 Doris分区

CREATE TABLE table1 ( siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(siteid, citycode, username) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replica

2021-09-01 17:08:01 3337

原创 Doris之ROLLUP

Duplicate 数据模型：DorisDB中的用于存放明细数据的数据模型，建表可指定，数据不会被聚合。Base 表：DorisDB 中通过 CREATE TABLE 命令创建出来的表。Materialized Views 表：简称 MVs，物化视图。https://cloud.baidu.com/doc/PALO/s/kksis5hciROLLUP是物化视图的一个子集。...

2021-09-01 15:50:59 2598