- 博客(2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark函数aggregate 简单实例理解
首先，Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U 这是一个柯里化函数，第一个参数列表中传一个初始化值， 柯里化的目的是让后一个参数列表中的类型可以由前一个参数列表中参数类型进行推演得到...
2018-02-23 06:08:04
581
原创 更新集群文件scp简化脚本
经常会遇到集群中的某一个文件需要同步更新。 手动获取到文件绝对路径再使用scp命令有些繁琐 由于所有需要更新的文件在集群存储的路径都是相同的 于是写了一个简化脚本(自用)#!/bin/bash filepath=`cd $(dirname $1); pwd` nodeNums=`expr $# - 1` if [ $nodeNums -lt 1 ] then echo '参数少
2018-02-18 02:23:43
538
空空如也
接入有米广告sdk时遇到空指针报错，求帮忙
2016-09-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人