小程序
文章平均质量分 62
thelostxxx
这个作者很懒,什么都没留下…
展开
-
小程序:递归实现所有变位词的排列组合
找出一个单词的所有变位词,例如给到单词“stop”,找到对应的变位词“pots”和“tops”。采用暴力解法的话,把所有的可能性都排列组合一遍,一个一个判断;在排列组合这步很适合用递归来实现,写了个小程序测试了下。输入样例:abcd输出样例:abcd,abdc,acbd,acdb,adbc,adcb,bacd,badc,bcad,bcda,bdac,bdca,cabd,ca原创 2017-03-13 21:44:41 · 843 阅读 · 0 评论 -
Scala Future OnComplete调用 笔记
在并发Future中建立API调用,和主线程并发地执行任务转载 2017-10-10 18:14:34 · 3737 阅读 · 0 评论 -
Stream创建斐波那契数列
Stream 流 是递归的数据结构,包含一个表头(当前元素)和一个表尾(集合的其余部分)。可以利用一个函数和函数的递归调用来构建流。Stream.cons(head,tail) head是Stream中的表头,tail是余下的元素转载 2017-10-12 18:12:16 · 784 阅读 · 0 评论 -
利用repartition和mapPartitions替代reduce功能
数据:用户,时间,地点 样例:10001,20190401 14:20:06,2000000001000001000000000004879310002,20190612 00:36:24,0000000100000005000000000018136210002,20190612 01:49:05,00000001000000050000000000181362需求统计:用户在每个...原创 2019-07-01 14:05:46 · 685 阅读 · 0 评论 -
利用spark内置函数读取文件名或文件所在路径
spark读取数据的时候常见一个需求,需要读入文件所在路径,例如读入数据的时候需要分区路径(通常是日期)。其实hive中就有内置函数可以直接读入文件路径 INPUT__FILE__NAME,只不过通常不太用,所以spark-sql里也有函数可以直接读取部分文件信息的。需要用到spark2.0.functions.input_file_name()import java.util.{...原创 2019-07-22 18:23:46 · 1947 阅读 · 1 评论