- 博客(4)
- 收藏
- 关注
RSS订阅原创 scala implicit关键字详解(隐式转换函数、隐式类、隐式参数、隐式值)
scala 隐式(implicit关键字)详解一、Overviewimplicit是scala中的一个关键字，关于它有着丰富的用法，使得scala更灵活和容易扩展。截止目前，scala已经来到了2.12.3版本，本篇文章把目前scala支持的implicit用法作了较为全面的整理，以方便在阅读scala源码的时候稍作参考。文中全部的代码和测试结果均以scala2.12.3为准。闲话不多讲，目前可以见
2017-09-20 21:53:33
4287
原创 spark编程指南
spark编程指南可以使容器并行化val data = Array(1, 2, 3, 4, 5)val distData = sc.parallelize(data)扩展数据集可以直接使用文本文件scala> val distFile = sc.textFile("data.txt")distFile: org.apache.spark.rdd.RDD[String] = data.txt
2017-09-17 23:27:17
376
原创 spark RDD常用函数/操作
spark RDD常用函数/操作文中的代码均可以在spark-shell中运行。transformationsmap(func)集合内的每个元素通过function映射为新元素val a = Array(1,2,3,4)val pa = sc.parallelize(a)val resultRdd = pa.map( _ + 1)注意对于所有transformation操作，生成的都是一个新的R
2017-09-17 12:03:48
2978
翻译 spark集群部署模式概览
spark集群部署模式概览[原文连接]元素一个spark应用包含运行在集群里的一系列进程，它们由主程序（称作driver）里的SparkContext对象协调。SparkContext可以连接不同的集群管理器（ Spark的 standalone cluster manager/ Mesos/YARN），这层抽象使得spark可以利用不同的底层设施。集群管理器用于分配资源，spark应用的运行流程与
2017-09-16 17:43:03
593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人