大数据
文章平均质量分 55
新民工涛哥
从事大数据相关开发工作
展开
-
Flink 利器:开源平台 StreamX 简介
开源 Flink 平台,SQL 化编程原创 2021-12-17 16:01:32 · 2860 阅读 · 0 评论 -
使用腾讯云 Flink 实时 ETL 快速入门
一、流计算 Oceanus 限量秒杀专享活动二、什么是ETLETL(Extract,Transform,Load)描述了将数据从源端经过抽取、转换、加载至目的端的过程。企业收集到的原始数据通常存在数据缺失、数据结构混乱等问题,难以直接用来分析或计算。通过补充缺失的数值、修正偏差的数值、拆分字段、转换类型以及使用用户自定义函数等方式,ETL 能够将数据加工为规整、可用的形式。使用腾讯云流计算 Oceanus 开发 ETL 作业时,用户只需选择数据源表和目的表,并根据业务逻辑完成字段映射的配置,即可实现转载 2021-10-11 10:52:50 · 509 阅读 · 0 评论 -
flink kafka报错Timeout of 60000ms expired before the position for partition could be determined
这里写自定义目录标题错误:原因修改方法错误:org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition skynetdbus-flink-test-1 could be determined原因kafka 该topic 的partition数量大于flink TaskManager中可用的slot数量修改方法增加Flink slot数或原创 2020-06-09 11:40:58 · 20960 阅读 · 15 评论 -
ETL之kettle
kettle下载地址:https://community.hitachivantara.com/s/article/data-integration-kettlekettle版本与jdk版本对应关系:https://blog.csdn.net/qq724581322/article/details/82533987原创 2019-08-19 10:24:47 · 186 阅读 · 0 评论