![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据处理
文章平均质量分 78
Lens5935
这个作者很懒,什么都没留下…
展开
-
kettle邮件收件人动态传参处理
JOB文件中空白处鼠标右键 -》作业设置命令参数,设置传入参数设置邮箱参数sh /app/code/sql/CRONTAB/crontab_day/crontab_day.shcrontab_day.sh文件#!/bin/bash#kettle job flie jobFile='/app/code/sql/CRONTAB/crontab_day/crontab_day.kjb'KETTLE_HOME="/app/software/wor...原创 2022-03-22 22:02:20 · 1022 阅读 · 0 评论 -
Waterdrop之数据处理
背景及痛点:我们的确可以利用Spark提供的API对数据进行任意处理,但是整套逻辑的开发是个不小的工程,需要一定的Spark基础以及使用经验才能开发出稳定高效的Spark代码。除此之外,项目的编译、打包、部署以及测试都比较繁琐,会带来不少得时间成本和学习成本。除了开发方面的问题,数据处理时可能还会遇到以下不可逃避的麻烦:数据丢失与重复 任务堆积与延迟 吞吐量低 应用到生产环境周期长 缺少应用运行状态监控因此我们开始尝试更加简单高效的Spark方案,并试着解决以上问题。Databrick原创 2022-02-20 11:23:56 · 2758 阅读 · 0 评论 -
Kettle8.2连接ElasticSearch7.x插件
一、下载kettle8.2的发布版源码包,具体地址:https://github.com/pentaho/pentaho-kettle/releases?after=8.1.0.6-R二、下载kettle8.2发布版工具,具体地址:https://community.hitachivantara.com/s/article/data-integration-kettle...原创 2020-02-25 14:57:59 · 4268 阅读 · 7 评论