- 博客(5)
- 问答 (2)
- 收藏
- 关注
原创 记录structed streaming kafka endingOffsets 中的json string 格式代表的含义
源码:/** * Read per-TopicPartition offsets from json string */def partitionOffsets(str: String): Map[TopicPartition, Long] = { try { Serialization.read[Map[String, Map[Int, Long]]](str).flat...
2020-04-15 14:27:38
360
原创 spark 表自交的时候发现一些问题
报错信息:Detected cartesian product for INNER join between logical plans情景:spark 2.4.0我们用一张表一个父节点字段,实现了一个多级的树状结构现在一个需求,需要找到所有叶子节点的第一级树枝是谁。其实数量不多,用java很简单的一个需求。用spark写了,,现在觉得脑子有坑一张表,自己inn...
2019-10-29 14:50:12
276
转载 【转】生成有100000个质数的质数表的一种较快算法
本文转载自:http://blog.sina.com.cn/s/blog_67a6c6d00100jef9.html如有侵权,联系本人会删除。这里所说的“质数表”是指从最小的质数2开始的所有质数构成的数列。一般用一维整数数组来储存。在ACM练习、竞赛中,很多题目都用到了质数表,而在平时编程时,生成质数的代码也被反复使用,因此,掌握一种较为快速的生成质数表的算法是很有意义的,也是...
2019-08-21 11:55:47
423
原创 简单记录CDH 做ETL的坑(会陆续增加)
CDH打包安装后,很多配置信息在 CM上设置了,但是sqoop这类工具一般还是命令行执行的,取的配置信息还是原生位置;ERROR: JAVA_HOME is not set and could not be found.注意: sqoop执行需要 hadoop & hbase 的环境脚本中指定JAVA_HOMEflume 进行数据库的数据监听,需要打一个 flu...
2019-05-29 10:16:20
673
2
原创 临时记录:Sqoop导出mysql至hdfs 遇到mysql数据中包含换行符导致数据错位&sqoop增量merge时报错
错误原因如题:报错关键字:sqoop Opening field-encloser expected at position 0报错信息分析:sqoop做merge时期望在位置0时有列分隔符会出现各种位置,跟mysql字段有关,换行符导致数据放入了第二行,merge时报错解决方法:sqoop增加神奇的字段:--hive-drop-import-delims 指定导入时删除hive的...
2019-05-20 11:17:35
1199
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人