![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigData
编程之路-java
软件工程师
展开
-
Flink学习总结
Flink概述Apache Flink是一个计算框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java、Scala和Python。DataStream API,对数据流进行流处理操作,将流原创 2020-05-09 11:10:29 · 412 阅读 · 0 评论 -
阿里的CDP,ODBS集成与实践
阿里cdp介绍阿里的cdp我们理解为是一个ETL工具。Pipeline是资源隔离的单元,Pipeline之间的管道资源以及底层的引擎等资源都是相互隔离的,一个Project的运行任务不会影响其他的Pipeline任务运行 同时提供一套抽象化的数据抽取插件(称之为Reader)、数据写入插件(称之为Writer),cdp技术与原理用户使用CDP Job启动API,向CDP服务端发起调用,提交原创 2016-11-06 20:49:15 · 3882 阅读 · 0 评论 -
分布式锁的学习总结与实践
….努力写中原创 2018-09-01 20:18:04 · 173 阅读 · 0 评论