- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Flink Native Kubernetes (二）基于阿里云OSS的checkpoint和savepoint测试
目录准备开始制作镜像编写测试应用发布应用测试checkpoint测试Savepoint准备前提已经有一定flink基础上一篇文章 环境搭建Demo运行 已经完成基础的Demo试跑接下来测试 精确一次 语义source 为kafkasink 为print主要测试算子状态和checkpoint、savepoint的情况开始阅读官网，可以知道很多Connector支持 精确一次 语义而且checkpoint和savepoint对于异常重试和重新发布对于数据不丢不重是很关键的基础配置结合上st
2021-02-24 16:08:52
1537
原创 pySpark 关于DS.foreachRDD与rdd.foreachPartition 绑定自有参数问题
刚开始研究spark，打算使用python作为spark的快速开发语言将函数基础类都归并到同一文件内由于python 序列化pickle无法序列化嵌套字（链接类）对象（事实上是有坑，很深的坑），所以需要再partition内的函数建立对应链接进行数据库累加操作需要将外部输入的数据参数动态配置到函数内使用到了python的偏函数概念functions.partial将函数封装后丢入到DS.forea...
2018-06-06 15:07:59
6088
3
原创 mysql数据实时缓存ES实战
前言目前各个公司都在使用基于myql为关系型数据存储，ES提供快速检索排序的数据查询流程。所以，在使用ES查询时，实时同步Mysql数据就成为了这一套检索流程的重中之重。设计思路使用mysqlbingLog解析工具，模拟slave做到binlog无丢失，实时获取数据变动 使用消息中间件kafka，rabbitmq等作为数据传输，暂存工具 使用流式数据处理工具，strom，spa...
2020-01-17 11:54:45
783
原创 kafka-python 操作备忘
手动设置偏移量数据from kafka import KafkaConsumerfrom kafka import TopicPartitiontp = TopicPartition(topic='test-pos-kafka-python', partition=0)consumer = KafkaConsumer(bootstrap_servers="kafka1.local....
2018-08-27 11:57:18
409
原创 mysql+maxwell+SparkStreaming 分析数据流水
maxwell可以模拟mysqlslave获取binlog，对binlog进行解析，变成json格式{"database":"taskcenter","table":"lts_admin_job_tracker_monitor_data","type":"insert","ts":1535090880,"xid":1555704593,"
2018-08-24 14:54:38
577
原创 win10安装hadoop2.7
首先下载hadoop.tar.gz官网地址http://hadoop.apache.org/releases.html我是用的是hadoop-2.7.6.tar.gz继续下载hadooponwindows-master.zip可以自行百度，或私信我需要安装java jdk配置JAVA_HOME 自行查找资源准备就绪 开始搭建配置HADOOP_HOME与JAVA_HOME同样配置方式将 hadoop...
2018-06-28 14:45:58
2459
原创 python-mysql-连接池
利用内部队列编写的简易的支持上下文的连接池，目前只支持多线程内的链接代码如下实现了 最大最小连接池的限制，链接回收，dml封装，动态维护链接等操作import MySQLdbimport loggingimport Queuefrom threading import Threadfrom contextlib import contextmanagerimport timecla...
2018-05-07 17:59:13
230
原创 innobackupex 升级mysql5.5到mysql5.7对系统性能不支持问题
问题：目前在以5.5为主5.7为从的架构上，主从同步良好，但一些系统参数无法使用解决办法：由于主从没有问题，表示目前数据没有问题，主从良好，只是没有适应5.7的数据库特性。持续监控主从，在低写入的情况下用mysqldump导出纯数据利用5.7重新建立数据库，将数据导入5.7新库中，完成对系统性能的支持具体操作如下：
2016-06-21 19:35:46
689
Rancher部署K8s相关镜像(3)
2021-02-24
Rancher部署K8s相关镜像(2)
2021-02-24
Rancher部署K8s相关镜像(1)
2021-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人