自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Flink踩坑记录

1.使用application提交任务至yarn运行,使用yarn提供的rest接口获取某些信息 通过applicationId获取flink jobId http://ip:port/proxy/application_id/jobs 当判断提交的yarn任务状态为RUNNING时,发送请求获取jobid时,无法即时获取包含id的响应结果,yarn任务的状态与flink job 运行状态同步有延迟,需要等待几秒后才能获取到jobid ...

2022-05-19 11:43:43 348

原创 记java结束程序之前操作的一种方式

Runtime.getRuntime().addShutdownHook(new Thread() { @Override public void run() { try { logger.info("closing hdfs fileSystem"); fs.close(); logger.info("hd.

2022-05-12 17:30:22 529

原创 记一次自定义实现Flink-sql-connector-xxx过程

需求:实现FlinkSQL sink到ArangoDB图数据库 分析:自定义Flink Table & SQL connector 支持flink-connector-arangodb 官网支持user-defined sources&sinks,对Table SQL的source/sink定义提供官方解释

2022-04-22 18:47:32 2121

原创 Flink介绍

Apache Flink是一个分布式处理引擎框架,用于在无边界和有边界数据流上进行有状态的计算,实现数据流批一体化。能在常见的YARN、 Mesos、Kubernetes 在内的等多种资源管理框架集群/单机环境中灵活部署,并以高可用状态运行,以内存速度和任意规模进行高吞吐、低延迟、高性能的计算。其提供了Stateful Stream Processing、DataStream、Table &SQL API等多种不同级别的编程模式抽象以支持开发和运行多种不同种类场景的应用程序。另外Flink拥有精密的

2022-03-13 16:04:20 3123

原创 【原创】HBase的分裂(Split)与紧缩(Compaction)

Hbase的紧缩与分裂 Hbase的紧缩与分裂过程是对数据管理中必不可少的功能,正是因为它们的存在为Hbase拥有高效读写性能及集群的负载均衡提供了保证,接下来对这两个过程作一下详细的介绍。 Region概述 Hbase的紧缩与分裂的发生都在在Region中进行的,了解过Hbase的伙伴应该不会陌生,这里再对Region的结构功能作一个简单介绍。Region是 HBase中分布式存储和负载均衡的最...

2020-02-28 18:32:04 4794

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除