- 博客(7)
- 收藏
- 关注
原创 Spark转化算子
这个操作是非常昂贵的,最好用aggregateByKey 和reduceByKey代替。就是在shuffle前先进行计算,这样可以减少shuffle的数据。map和mapPartitions及mapPartitionsWithIndex区别。
2024-06-18 18:35:00 1340
原创 Spark数据结构RDD
sc.stop()0} else{1我们自定义的分区函数,继承Partitioner,传递分区的个数,并且自己实现数据分区的策略。自己调用partitionBy(new CustomPartitioner(2)),让RDD调用我们自己的分区函数。
2024-06-18 14:37:44 360
原创 Spark概述
Apache Spark™是一个多语言引擎,用于在单节点机器或集群上执行数据引擎、数据科学和机器学习。现在主要强调是数据引擎、数据科学及机器学习。
2024-05-21 10:29:50 481
原创 shell 实现cst转utc
shell 实现cst转utc#!/bin/sh####cst转utc##time="2010-10-18 00:00:00"seconds=`date -d "$time" +%s`seconds_utc=`expr $seconds - 28800`time_utc=`date -d @$seconds_utc "+%Y-%m-%d %H:%M:%S"`echo $tim...
2020-01-20 10:35:49 666
原创 neovim安装coc缺失bash-language-server
neovim安装coc缺失bash-language-server问题描述解决方法问题描述[coc.nvim] Server bash failed to start: Command “bash-language-server” of languageserver.bash is not executable: Error: not found: bash-language-server解...
2019-12-12 13:13:10 3051
原创 idea中Entity中添加注解@Data不能调用getXXX,setXXX解决方法
正常能编译和运行,但是不能提示get和set方法,主要是用@Data这个注解,原因是idea中没有添加Lombok插件,添加上插件便可以解决
2019-07-12 18:28:06 974
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人