数据库时间DATE 取最新的一条,取最老的一条

数据升序降序都是从上向下看。而且,是按照字典序 比较大小, 比如 1993年  小于 1994 年,2017年小于2018年 2017-09-18 小于 2017-09-19,等等,所以说越旧越小,越新越大    demo 1   升序   demo 2 降序 demo3 取出...

2018-07-26 17:05:37

阅读数:173

评论数:0

Spark API 之 top() 函数

top函数是一个柯理化 函数,全写为:def top(num: Int)(implicit ord: Ordering[T]): Array[T] 并且带有 隐式参数ordering类型,说明 该方法中肯定会 用到排序, 参数num :  是排序后取出前 num个。 demo1: val a ...

2018-07-17 09:07:23

阅读数:130

评论数:0

Spark API 之 countByValue

countByValue():根据rdd中的元素值相同的个数。返回的类型为Map[K,V],  K : 元素的值,V :元素对应的的个数demo1:val a = sc.parallelize(List("a","b",&am...

2018-07-16 16:12:06

阅读数:46

评论数:0

Thread 线程Daemon ,join,和 默认情况 的详解。

线程是什么? 我的理解为按照一定的逻辑关联着一定的的业务代码。线程主要有三种配置,setDaemon() , join(), 和 默认(什么也不设置 其实是setDaemon(false)这是默认的情况),首先要明白这三种配置的含义。setDaemon(true): 为守护线程,这里面有守护一词,...

2018-07-13 13:48:00

阅读数:41

评论数:0

Spark API 之 distinct

distinct 函数是为了 去重,这个大家都知道,这里我举个简单的例子:demo:          val a = sc.parallelize(List("a","b","c",&am...

2018-07-04 16:50:30

阅读数:352

评论数:0

redis desktop Manager 连不上linux上的redis 服务器问题解决

第一:       启动服务redis服务器的时候一定要加上 redis.conf 这个文件,例如:      src/redis-server   redis.conf         (注意这里的redis.conf 与 src 在同一级目录下)      如果你的redis已经启动,先把他关...

2018-07-04 16:34:58

阅读数:38

评论数:0

IDEA 打包jar,运行时报错 Invalid signature file digest for Manifest main attrib

Intellij打包jar文件,“java.lang.SecurityException: Invalid signature file digest for Manifest main attrib2016年11月27日 23:44:06阅读数:7857需要删除联系我,立刻删除。感觉资源不错就转...

2018-07-04 16:04:02

阅读数:68

评论数:0

Spark API 之 countByKey

countByKey 和count函数类似,但是countBykey针对  k->v 对的集合使用,计算key出现的个数,案例如下val a = sc.parallelize(List((3,"a"),(3,"b&...

2018-07-02 14:16:42

阅读数:56

评论数:2

Spark API 之 countApproxDistinct 函数

countApproxDistinct(x):计算Rdd中元素的大约个数,并且去重,x代表精度,x越小代表计算的月仔细。 demo代码:val r1 = sc.parallelize(1 to 10000,20)r1.countApproxDistinct(0.1)  输出的结果: Long = ...

2018-07-02 14:03:13

阅读数:19

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭