- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink获取Kafka中消息的Offset
虽然Flink消费kafka有着完善的checkpoint机制，可以使得程序停止后再次能从上一次的消费位点继续消费，但是有时候flink的checkpoint也会失败，或者checkpoint管理起来不够灵活，我们想自己维护kafka 的offset信息。但是Flink封装的FlinkKafkaConsumer并不能直接的获取kafka 消息的offset。
2023-01-13 23:15:54
2135
2原创 python 通过配置文件实现定时脚本对mysql库的备份
项目场景：提示：通过配置文件实现定时脚本对mysql库的备份解决方案：提示：需要的第三方模块pymysql以下示例为该脚本的 配置文件settings"""dump_mysql.py配置文件author:sunzhihua"""# DUMP_DICT 为配置连接Mysql的基本信息# "PORT"为主机地址,"PORT"为端口号,"USER"为用户,"PASSWORD"为密码,"CHARSET"字符集DUMP_DICT = {"status":0,"HOST": "localhost
2021-04-09 09:02:39
230
原创 在现有的hadoop集群中增加新节点服务器
系列文章目录Hadoop 集群安装部署及新增服务器节点(详细)：现根据业务需要，需要在原有的3台完全分布式的节点增设一台新的服务器节点，以下文章正文编写了在原有的完全分布hadoop中增设新节点的部署。文章目录系列文章目录前言一、部署步骤1.将新加节点信息补充至多台服务器的/etc/hosts中（包含新增节点自己这台服务器）2.通过前文我们写过的xsync脚本再次修改 将新增节点的信息写入到脚本文件xsync中（`注意缩进`）二、启动新增节点1.利用xsync脚本将hadoop128上的所有文件同
2021-04-09 07:38:32
2256
原创 Hadoop 集群安装部署(超详细)
Hadoop 安装部署(詳細)：文章目录Hadoop 安装部署(詳細)：前言Hadoop特点**Hadoop能做什么**一、pandas是什么？二、安裝部署1.引入库一、设置主机名hostnamectl set-hostname hadoopxxxvim /etc/hosts (四台服务器都需添加)二、添加公钥(三台centos服务器互相添加公钥)三、安装jdk四、上传Hadoop 包到指定目录 /opt/module/五、配置循环复制脚本前言- Hadoop是Yahoo!开发，后贡献给了A
2021-04-08 22:00:55
2463
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人