sleepyli-CSDN博客

原创 flink-kafka端到端精准一次性

flink-kafka端到端精准一次性producer有事务//FlinkKafkaProducer 默认不读取全局配置而是写死默认值AT_LEAST_ONCE 在创建KafkaProducer时要指定时间语义详见: new FlinkKafkaProducer<>()Optional<FlinkFixedPartitioner<String>> customPartitioner = Optional.of(new FlinkFixedPartitioner

2021-12-22 17:19:07 2632

原创 Maven常见问题总结

jar包下载报错方式一:删除maven下所有.lastUpdate文件方式二: 尝试在pom文件同级目录执行如下命令mvn -Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.ignore.validity.dates=true packagemaven认证由于https认证导致无法下载jar包, 可以修改idea中的配置增加如下参...

2021-07-22 21:53:00 322

原创 FastJson用法

参考资料官网文档地址：https://github.com/alibaba/fastjson/wiki/Quick-Start-CNpom.xml<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.58</version></depen...

2021-07-22 21:43:55 222

原创 flink一致性

flink状态一致性的保证一致性检查点（checkpoint）端到端（end-to-end）状态一致性端到端的精确一次（exactly-once）保证 Flink+Kafka 端到端状态一致性的保证一致性检查点（Checkpoints）Flink 使用了一种轻量级快照机制 —— 检查点（checkpoint）来保证 exactly-once 语义有状态流应用的一致检查点，其实就是：所有任务的状态，在某个时间点的一份拷贝（一份快照）。而这个时间点，应该是所有任务都恰好处理完一个相同的输

2021-07-22 21:34:52 702

原创 kafka命令二次封装脚本

kafka命令二次封装脚本说明 : 该脚本对kafka_2.11-2.4.1命令进行了二次封装, 避免了繁琐的命令.主要用于测试使用.使用脚本前请先对应修改 kafka集群地址(KAFKA_CLUSTER) 和 kafka主目录(KAFKA_HOME_BIN)kf-util.sh#!/bin/bash#kafka集群地址 ip/主机名:9092KAFKA_CLUSTER=hadoop22:9092,hadoop23:9092,hadoop24:9092#kafka bin目录KAFKA_

2020-10-14 08:22:15 243

原创 docker-superset

官网的superset 0.999.0 dev启动supersetdocker run -d -p 8787:8080 --name superset preset/superset配置用户名密码docker exec -it superset superset fab create-admin \ --username sleepy \ --firstname Superset \ --lastname A

2020-10-11 19:15:02 319

原创 docker-resin

docker-resin镜像名 registry.cn-shanghai.aliyuncs.com/sleepy/resin:2.0 暂无法公开具体创建细节该镜像使用方法及启动命令docker run -dit -u resin -p 8080:8080 \-e "EUREKA_INSTANCE_IP-ADDRESS=192.168.1.100" \-e "SERVER_PORT=8080" \-e "SERVER_NAME=server-name" \--name server-name

2020-06-28 11:01:02 116

原创常用docker镜像总结

docker-dvwadocker run --rm -dit -p 80:80 vulnerables/web-dvwa:1.9docker-apache配置文件位置：/usr/local/apache2/conf/httpd.conf前端页面为位置：/usr/local/apache2/htdocs/docker run -dit -p 80:80 --name apache \...

2020-06-28 11:00:26 856

原创 ubuntu和kali安装docker

ubuntu安装docker#备份apt源sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak#更换国阿里云镜像源echo -e "deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse \ndeb-src http://mi...

2020-04-20 15:53:37 424

原创 docker目录迁移

查看docker根目录#默认目录Docker Root Dir: /var/lib/dockerdocker info | grep "Docker Root Dir" 关闭dockersystemctl stop docker创建新的docker根目录cd /mkdir data拷贝docker根目录到新目录下最好使用winscp的远程复制可以避免目录权限的问题cp -r ...

2019-06-28 18:25:52 322

原创 docker一键安装脚本

进入目录/opt（或者自己找个其他目录）cd /opt使用vim编辑一键安装docker脚本vim docker-install.sh按 i 进行编辑，将下面内容粘贴进去#!/bin/bash#安装基础环境yum -y install gcc gcc-c++ yum-utils device-mapper-persistent-data lvm2#替换为阿里云yu...

2019-06-28 17:54:12 512

qq_31425415的博客