- 博客(2)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ogg抽数据到hdfs问题（汇总）
1、新项目使用ogg抽数据按照年月日+小时的形式保存到hdfs，由于ogg数据是保留修改前数据和修改后数据的，所以采用json格式保存文本{"table":"TEST.TT_SALES_RECORDS","op_type":"U","op_ts":"2020-05-19 02:05:03.000701","current_ts":"2020-05-19T10:05:10.427000","before":{"ID":178733,"PS_ORDER_NO":"PV2003110002","PS_ORDE.
2020-05-19 10:55:50
1184
原创 SparkSreraming读kafka数据（json复杂格式）
项目简介：源端改造，使用ogg从oracle抽数据到kafka,需要自己写代码解析kafka中ogg数据，数据格式比较复杂，需要二次解析！spark:2.1.0版本kafka:0.9.0版本<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <versi
2020-05-13 16:30:05
543
大数据及其常用组件介绍
本TTP为大数据及其常用组件的基本介绍（hdfs hive hbase kafka spark kudu impala kylin streamsets）仅供参考。
2018-11-06
window平台 ncat工具
windows平台下ncat工具，Netcat用于从TCP/UDP连接中读取或发送网络数据。（使用方法：ncat.exe -l -k -p 6666）
2018-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人