- 博客(8)
- 收藏
- 关注
RSS订阅原创 Kettle实现rabbitMQ的生产与消费
Kettle是一款非常强大的ETL工具，不仅可以使用图形化界面，还可以处理各种数据，今天记录一下本人使用Kettle中MQTT组件来实现从rabbitMQ中读取流数据，并进行解析和处理。提示：以下是本篇文章正文内容，下面案例可供参考。...
2022-08-25 16:27:58
2179
1
原创 sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue1、字段属性不匹配
2022-06-10 15:13:59
929
原创 kettle查询数据库中文编码问题
前言这个事情是这样的，在navicat上写了一段sql，运行了一下，没问题，有数据，拿到kettle的表输入中运行，没数据？嗯？怎么回事？navicat中直接运行：kettle中直接运行：查询原因1：数据库连接是否一致（√）2：换其他条件查询（√）3：查看具体是哪个条件导致这样的情况：*经查询是因为“A.storage_entityname ='昆山海外仓'”这个条件导致的*结果 将值换成英文可以查询出来，猜测是因为kettle组件连接数据库的时候编码不对，导致中文转换错误，
2021-06-02 18:26:43
632
原创 Navicat导出oracle表数据为excel日期字段异常
navicat导出oracle表数据日期为1900引言：最开始导入导出的数据的时候还没有发现这个问题，就是从oracle导出为excel的时候，时间字段如果为空的的数据会变成1900/1/0 0:00:00，这个问题被业务反馈出来。问题查询出来的数据导出后的数据原因由于不太了解导出时具体的底层代码是如何的，大致猜测应该是会检测导出到字段是什么数据类型，然后根据字段属性来给予默认值，oracle导出数据，可能字段属性为DATE的数据如果是空的话会给予默认值1900/1/0 0:00:00。解决
2021-03-11 14:28:46
1369
原创 HIVE中日期转换
HIVE中日期转换问题小记本来是sql查出来是两条数据：SELECT groupid,shopiD,shopname,deliverytime,sku,transport_type FROM ods_amz_group_fee WHERE dt='2020-12-11' AND sku = 'FBA-SYHG372-30cm';因为需求要用这个时间去和另外一个字符串时间相比较，我要取最大的时间那条，结果使用DATE_FORMAT(A.deliverytime,‘YYYY-MM-dd’)之后变成了这
2020-12-23 11:35:17
805
原创 centos7下搭建CM5.14和CDH5.14集群
纯手打文字，图片太多，不懂的地方可自行百度下载安装包（要求版本对应）:JDK: jdk1.8.0_181CM: cloudera-manager-centos7-cm5.14.1_x86_64.tar.gzCDH: CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha1 CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel manifest.jsonMYSQL： mysql-5.7.24-1....
2020-11-16 19:23:09
446
2
原创 CDH集群如何在主机添加新角色
CDH集群如何在主机添加新角色前言提示：本次涉及的是CDH5.14和CM5.14，因为公司发展需要，这次需要从原来的三台集群扩展到十一台集群，我第一个想到就是使用cdh来搭建集群，搭建完之后使用的是基础角色配置，但到后来需要添加新的角色时不知道从什么地方添加，自己找到之后记录在此提示：以下是本篇文章正文内容，下面案例可供参考集群配置图添加新的角色添加服务选择要添加的角色选择sqoop选择主机正在部署完成查看集群角色...
2020-11-14 18:42:31
1359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人