- 博客(11)
- 收藏
- 关注
RSS订阅原创 flink-kafka端到端精准一次性
flink-kafka端到端精准一次性 producer有事务 //FlinkKafkaProducer 默认不读取全局配置而是写死默认值AT_LEAST_ONCE 在创建KafkaProducer时要指定时间语义 详见: new FlinkKafkaProducer<>() Optional<FlinkFixedPartitioner<String>> customPartitioner = Optional.of(new FlinkFixedPartitioner
2021-12-22 17:19:07
2620
原创 Maven常见问题总结
jar包下载报错 方式一:删除maven下 所有.lastUpdate文件 方式二: 尝试在pom文件同级目录执行 如下命令 mvn -Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.ignore.validity.dates=true package maven认证 由于https认证导致无法下载jar包, 可以修改idea中的配置 增加如下参...
2021-07-22 21:53:00
317
原创 FastJson用法
参考资料 官网文档地址：https://github.com/alibaba/fastjson/wiki/Quick-Start-CN pom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.58</version> </depen...
2021-07-22 21:43:55
210
原创 flink一致性
flink状态一致性的保证 一致性检查点（checkpoint） 端到端（end-to-end）状态一致性 端到端的精确一次（exactly-once）保证 Flink+Kafka 端到端状态一致性的保证 一致性检查点（Checkpoints） Flink 使用了一种轻量级快照机制 —— 检查点（checkpoint）来保证 exactly-once 语义 有状态流应用的一致检查点，其实就是：所有任务的状态，在某个时间点的一份拷贝（一份快照）。而这个时间点，应该是所有任务都恰好处理完一个相同的输
2021-07-22 21:34:52
696
原创 kafka命令二次封装脚本
kafka命令二次封装脚本 说明 : 该脚本对kafka_2.11-2.4.1命令进行了二次封装, 避免了繁琐的命令.主要用于测试使用. 使用脚本前请先对应修改 kafka集群地址(KAFKA_CLUSTER) 和 kafka主目录(KAFKA_HOME_BIN) kf-util.sh #!/bin/bash #kafka集群地址 ip/主机名:9092 KAFKA_CLUSTER=hadoop22:9092,hadoop23:9092,hadoop24:9092 #kafka bin目录 KAFKA_
2020-10-14 08:22:15
241
原创 docker-superset
官网的superset 0.999.0 dev 启动superset docker run -d -p 8787:8080 --name superset preset/superset 配置用户名密码 docker exec -it superset superset fab create-admin \ --username sleepy \ --firstname Superset \ --lastname A
2020-10-11 19:15:02
317
原创 docker-resin
docker-resin 镜像名 registry.cn-shanghai.aliyuncs.com/sleepy/resin:2.0 暂无法公开具体创建细节 该镜像使用方法及启动命令 docker run -dit -u resin -p 8080:8080 \ -e "EUREKA_INSTANCE_IP-ADDRESS=192.168.1.100" \ -e "SERVER_PORT=8080" \ -e "SERVER_NAME=server-name" \ --name server-name
2020-06-28 11:01:02
115
原创 常用docker镜像总结
docker-dvwa docker run --rm -dit -p 80:80 vulnerables/web-dvwa:1.9 docker-apache 配置文件位置：/usr/local/apache2/conf/httpd.conf 前端页面为位置：/usr/local/apache2/htdocs/ docker run -dit -p 80:80 --name apache \ ...
2020-06-28 11:00:26
852
原创 ubuntu和kali安装docker
ubuntu安装docker #备份apt源 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #更换国阿里云镜像源 echo -e "deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse \ndeb-src http://mi...
2020-04-20 15:53:37
422
原创 docker目录迁移
查看docker根目录 #默认目录Docker Root Dir: /var/lib/docker docker info | grep "Docker Root Dir" 关闭docker systemctl stop docker 创建新的docker根目录 cd / mkdir data 拷贝docker根目录到新目录下 最好使用winscp的远程复制可以避免目录权限的问题 cp -r ...
2019-06-28 18:25:52
317
原创 docker一键安装脚本
进入目录/opt（或者自己找个其他目录） cd /opt 使用vim编辑一键安装docker脚本 vim docker-install.sh 按 i 进行编辑，将下面内容粘贴进去 #!/bin/bash #安装基础环境 yum -y install gcc gcc-c++ yum-utils device-mapper-persistent-data lvm2 #替换为阿里云yu...
2019-06-28 17:54:12
506
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人