- 博客(13)
- 收藏
- 关注
原创 合并线段 java
合并线段 javae.g. [0, 1] [1, 4] [4, 5] [5, 8] [2, 6] [3, 10] -> [0, 1] [1, 10] ...
2022-06-15 11:34:36 371
原创 grafana修改时区
从数据库里查出来的时间格式 和实际差了8个小时可以在 Configuration -> Preferences -> TimeZone 修改为UTC
2021-06-25 10:31:59 5860
原创 Java正则提取字符串中的数字 分段提取
import java.util.LinkedList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class StringUtil { /** * 获取字符串中的数字 分段提取 * @param str * @return */ public static List<String> get.
2020-12-18 11:33:19 1339
原创 Allure+testng maven配置
想把testng的报告改成Allure的,因为Allure里可以显示图片。网上找了半天,maven配起来一直再报错,可能版本不对,最终根据官网指导,成功运行。LAST_VERSION:2.13.5https://docs.qameta.io/allure/#_testng<properties> <aspectj.version>1.8.10</aspectj.version></properties><dependenc
2020-09-18 16:36:51 724
原创 Spark中Dataset[Row] Row.getAs[T](fieldname)无效的解决方案(Scala)
在spark中使用Dataset[Row]也就是DataFrame做处理时,如果改变了数据结构,并用implicit Encoder做隐式转换,会出现数据格式无效,在后续处理的时候无法使用 row.getAs[T](fieldname)来获取数据。可能是在spark处理的时候丢失了行数据的格式,在dataset上获取schema可以获得隐式转换中的数据结构,但是处理行数据的时候,schema值...
2019-12-06 13:13:57 5136
原创 利用spark内置函数读取文件名或文件所在路径
spark读取数据的时候常见一个需求,需要读入文件所在路径,例如读入数据的时候需要分区路径(通常是日期)。其实hive中就有内置函数可以直接读入文件路径 INPUT__FILE__NAME,只不过通常不太用,所以spark-sql里也有函数可以直接读取部分文件信息的。需要用到spark2.0.functions.input_file_name()import java.util.{...
2019-07-22 18:23:46 2026 1
原创 利用repartition和mapPartitions替代reduce功能
数据:用户,时间,地点 样例:10001,20190401 14:20:06,2000000001000001000000000004879310002,20190612 00:36:24,0000000100000005000000000018136210002,20190612 01:49:05,00000001000000050000000000181362需求统计:用户在每个...
2019-07-01 14:05:46 706
转载 Stream创建斐波那契数列
Stream 流 是递归的数据结构,包含一个表头(当前元素)和一个表尾(集合的其余部分)。可以利用一个函数和函数的递归调用来构建流。Stream.cons(head,tail) head是Stream中的表头,tail是余下的元素
2017-10-12 18:12:16 794
原创 Hive中not in函数的小坑
Hive中的not in函数有一个隐藏的陷阱,当not in() 中的数值包含NULL,匹不上的数据会返回NULL而不是True。所以当在where中使用not in子查询进行筛选,一定要记得去除NULL值。样例代码:--not in的原始结果select num,num not in (null,'2'), num not in (null,'2') and tru
2017-03-22 15:29:24 1897
原创 小程序:递归实现所有变位词的排列组合
找出一个单词的所有变位词,例如给到单词“stop”,找到对应的变位词“pots”和“tops”。采用暴力解法的话,把所有的可能性都排列组合一遍,一个一个判断;在排列组合这步很适合用递归来实现,写了个小程序测试了下。输入样例:abcd输出样例:abcd,abdc,acbd,acdb,adbc,adcb,bacd,badc,bcad,bcda,bdac,bdca,cabd,ca
2017-03-13 21:44:41 855
原创 Java从文本文件中读取数据,导致Map中Key值重复
有一个需求,从文本文档中读取数据,作为Map中的Key值。例如文本文件中有两行内容:keykey将每行的数据作为Map中的Key值,此时Map中应该只有一个Key,但在实际操作的时候会发现Map中有两个Key。
2016-11-26 10:45:23 1135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人