整理
文章平均质量分 94
用心整理的内容
星之擎
且行且珍惜
展开
-
WordCount 的 Java 和 Scala 实现
一、Java public final class JavaWordCount { private static final Pattern SPACE = Pattern.compile(" "); public static void main(String[] args) throws Exception { if (args.length System.err翻译 2016-05-01 23:04:08 · 499 阅读 · 0 评论 -
Labview使用说明文档01
Labview使用说明文档01Labview启动界面:文件,资源;前面板、程序框图;2、1986模拟测试测量仪器而设计; .vi文件后缀名3、labview应用:测试测量、控制、仿真等多个领域;.vi4、一个VI由两个窗口组成:前面板和程序框图。前面板:程序与用户交互界面;用户可以在这里输入程序运行所需要的参数,观察程序运行所需要的结果。程序框图:用户编写代码的地方。...原创 2019-01-09 15:04:09 · 1557 阅读 · 0 评论 -
sql time运算
1、转换码Select CONVERT(varchar(100), GETDATE(), 0)--05 16 2006 10:57AMSelect CONVERT(varchar(100), GETDATE(), 1)--05/16/06Select CONVERT(varchar(100), GETDATE(), 2)--06.05.16Select CONVERT(varchar(100), ...原创 2018-05-02 14:38:26 · 5326 阅读 · 1 评论 -
Spark RDD 创建
Spark RDD 创建、parallelize、makeRDD、textFile、hadoopFile、hadoopRDD、newAPIHadoopFile、newAPIHadoopRDD从集合创建RDDparallelizedef parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(impli转载 2017-04-16 16:33:10 · 451 阅读 · 0 评论 -
spark job, stage ,task介绍。
1. spark 如何执行程序?首先看下spark 的部署图: 节点类型有:1. master 节点: 常驻master进程,负责管理全部worker节点。2. worker 节点: 常驻worker进程,负责管理executor 并与master节点通信。dirvier:官方解释为: The process running the main() function o转载 2017-05-03 11:20:22 · 801 阅读 · 0 评论 -
spark 与 hadoop的hdfs的连接(亲测有效)
出处::http://blog.csdn.net/oopsoom/article/details/24257981,目前Spark的Run on的Hadoop版本大多是hadoop2以上,但是实际上各个公司的生产环境不尽相同,用到2.0以上的公司还是少数。大多数公司还是停留在1代hadoop上,所以我就拿spark0.91 + hadoop0.20.2-cdh3u转载 2017-04-03 21:39:41 · 19704 阅读 · 0 评论 -
初试Spark之K-Means聚类算法实现
0.20.280.320.390.420.50.610.680.720.761.81.881.9822.022.12.242.322.382.43.43.523.583.63.653.723.773.883.913.943.984 package kmea转载 2017-02-18 11:42:14 · 904 阅读 · 0 评论 -
Kmeans系统理论总结上
一、背景聚类( Cluster analysis)有时也被翻译为簇类,其核心任务是将一组目标object划分为若干个簇,每个簇之间的object尽可能相似,簇与簇之间的object尽可能相异。聚类算法是机器学习(或者说是数据挖掘更合适)中重要的一部分,除了最为简单的K-Means聚类算法外,比较常见的还有层次法(CURE, CHAMELEON等)、网格算法(STING, WaveClust原创 2016-08-09 12:33:51 · 1838 阅读 · 0 评论 -
以wordcount理解spark的执行过程
以wordcount理解spark的执行过程:1、代码以及交互界面的回应:(RDD是spark的核心抽象,所有的计算都围绕RDD进行,生成RDD,然后可以对RDD进行各种操作,这些操作主要有两类:Transformation(转换)[一个RDD进过计算生成一个新的RDD,比如接下来示例中的flatMap、map、reduceByKey]和Action(动作)[返原创 2016-07-09 09:17:18 · 4056 阅读 · 0 评论 -
理解变量的作用域
理解变量的作用域:(a)scala> var counter=0counter: Int = 0scala> val data=Seq(1,2,3)data: Seq[Int] = List(1, 2, 3)scala> data.foreach(x => counter += x)scala> println ("Counter value:"+count原创 2016-07-08 22:51:21 · 519 阅读 · 0 评论 -
Labview使用说明文档02
1、美化vi图标是labview特有的优势,与labview相比,文本编程语言不需要,也不可能为每一个编写出来的函数设置图标。人脑对图像的处理速度要比处理同样的信息量的文字快得多。因此,阅读一个编写风格良好的labview代码要比阅读一个文本程序的代码更容易、更快速。2、新图标编辑器1)模板页,功能相关的一批子vi具有共同的风格,eg共同形式的边框、底色、标签、装饰图案等。1为每个...原创 2019-01-09 15:05:19 · 464 阅读 · 0 评论