- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Kafka如何保证消息可靠性和一致性
Kafka如何保证消息可靠性和一致性生产者数据的不丢失kafka 的 ack 机制：在 kafka 发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。消费者数据的不丢失通过 offset commit 来保证数据的不丢失，kafka 自己记录了每次消费的 offset 数值，下次继续消费的时候，接着上次的 offset 进行消费即可。保存的数据不丢...
2019-09-28 09:43:38
1573
原创 如何查找hive函数
hive函数官网查看https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
2019-09-21 16:11:40
131
原创 SQL查询出每门课程的成绩都大于80的学生姓名
SQL查询出每门课程的成绩都大于80的学生姓名SELECT S.name FROM Student S GROUP BY S.name Having MIN(S.score)>=80
2019-09-21 14:17:29
998
原创 当前行取上一行或者下一行数据作为独立列
当前行取上一行或者下一行数据作为独立列Lead over 函数可以获取当前行的后第N行作为独立列Lag over 函数可以获取当前行的前第N行作为独立列注 : orcle才有上两个函数 , mysql中没有 , 需要mysql实现要自己写存储过程例子 :lag(exp_str,offset,defval) over(partion by …order by …)lead(exp_str...
2019-09-21 11:14:53
1423
原创 Kettle转换控件
Kettle转换控件转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3。Concat fields (连接字段)Concat fields就是多个字段连接起来形成一个新的字段。值映射值映射就是把字段的一个值映射成其他的值。在数据质量规范上使用非常多，比如很多系统对应性别gender字...
2019-09-11 16:09:54
506
原创 Kettle输出控件
Kettle输出控件输出是转换里面的第二个分类。输出属于ETL的L，L就是Load加载。本文内容1 :Excel输出2 :文本文件输出3 :SQL输出4 :表输出5 :更新6 :插入更新开始1 :Excel输出微软的Excel目前有两种后缀名的文件分别为：xls和xlsx。xls:2007年之前xlsx:2007年之后2 :文本文件输出3 :SQL文件输出...
2019-09-11 13:45:59
374
原创 下载Mysql驱动包
下载地址 : http://central.maven.org/maven2/mysql/mysql-connector-java/
2019-09-11 09:31:07
305
原创 Kettle输入控件
Kettle输入控输入：就是用来抽取数据或生成数据。是ETL操作的ExtractCSV文件输入文本文件输入提取日志信息的数据是开发常见的操作，日志信息基本都是文本类型。Excel输入...
2019-09-10 15:45:01
312
原创 Kettle核心概念
Kettle里的图就是转换和作业。转换(transaformation)是ETL解决方案中最主要的部分，它处理抽取、转换、加载各种对数据行的操作。转换转换 : 包含一个或多个步骤(step)转换中的步骤通过跳(hop)来连接，跳定义一个单向通道，允许数据从一个步骤向另一个步骤流动。步骤 (并行的)步骤需要有一个名字，这个名字在转换范围内唯一。每个步骤都会读、写数据行步骤将数据...
2019-09-10 13:51:59
633
原创 Kettle安装(windows)
Kettle下载和安装下载网址：https://community.hitachivantara.com/docs/DOC-1009855目录说明安装由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。配置JDK和Kettle环境变量 运行...
2019-09-09 16:18:07
239
T_REAL_PRODUCTION_CHECKDETAIL.kjb
2020-01-15
kettle - JOB循环 , 用于kettle失败后重试 !
2020-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人