scala
分子美食家
机器学习爱好者
展开
-
创建一个分布式矩阵
import org.apache.spark.mllib.linalg.Matricesimport org.apache.spark.mllib.util.MLUtilsimport org.apache.spark.{SparkContext, SparkConf}object MatrixLearning { def main(args: Array[String]) { val mx = Matrices.dense(2, 3, Array(1, 2, 3, 4, 5, 6)原创 2020-09-01 20:23:27 · 382 阅读 · 0 评论 -
scala-spark read csv data
import org.apache.spark.mllib.util.MLUtilsimport org.apache.spark.{SparkContext, SparkConf}object labeledPointLoadlibSVMFile { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName(this.getClass().getSimpleName原创 2020-09-01 20:16:09 · 372 阅读 · 0 评论 -
scala-spark reduce,reduceByKey,sorted,lookup,take,saveAsTextFile
import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark._object Reduce_demo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Transformation1").setMaster("local") val spark = new SparkConte原创 2020-09-01 00:43:56 · 225 阅读 · 0 评论 -
spark-scala transforamtion union join distinct
import org.apache.spark._import org.apache.spark.network.netty.SparkTransportConfobject Transformation { def main(args:Array[String]): Unit ={ val conf =new SparkConf().setAppName("Transformation1").setMaster("local") val spark=new SparkContex原创 2020-09-01 00:38:58 · 171 阅读 · 0 评论 -
scala-hadoop-hdfs-spark交互
import org.apache.spark._//import java.util._;import scala.util.Randomimport java.text.SimpleDateFormatimport java.util.Dateimport scala.math._object RDDparallelizeSaveAsFile { def main(args:Array[String]) { // val conf = new SparkConf().s.原创 2020-09-01 00:32:18 · 97 阅读 · 0 评论 -
scala-spark-worldcount
```scalaimport org.apache.spark._import org.apache.spark.rdd.RDD.rddToOrderedRDDFunctionsimport org.apache.spark.rdd.RDD.rddToPairRDDFunctionsobject SparkWordCount {def main(args: Array[String]) {if (args.length < 1) { System.err.println("Usage原创 2020-09-01 00:25:54 · 102 阅读 · 0 评论 -
spark获取类名
object CollaborativeFilteringSpark { val conf = new SparkConf().setMaster("local").setAppName(this.getClass().getSimpleName().filter(!_.equals('$'))) // println(this.getClass().getSimpleName().filter(!_.equals('$'))) //设置环境变量 val sc = new SparkCon原创 2020-09-01 00:23:31 · 404 阅读 · 0 评论 -
scala 提交任务
maven添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o原创 2020-09-01 00:04:54 · 304 阅读 · 0 评论 -
scala报错20/08/31 23:48:40 WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 192.168.28.94, exec
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2020-08-31 23:51:18 · 2380 阅读 · 0 评论 -
scala集合
集合课程内容:基本数据结构数组 Array列表 List集合 Set元组 Tuple映射 Map选项 Option函数组合子mapforeachfilterzippartitionfinddrop and dropWhilefoldRight and foldLeftflattenflatMap扩展函数组合子Map?基本数据结构Scala提供了一些不错的集合。参考 Effective Scala 对怎样使用集合的观点。数组 Array数组是原创 2020-08-31 11:43:26 · 96 阅读 · 0 评论 -
scala入门基础2
scala基础之二课程内容:apply方法单例对象函数即对象包模式匹配样本类try-catch-finallyapply 方法当类或对象有一个主要用途的时候,apply方法为你提供了一个很好的语法糖。scala> class Foo {}defined class Fooscala> object FooMaker { | def apply() = new Foo | }defined module FooMakerscala>原创 2020-08-31 11:31:01 · 70 阅读 · 0 评论 -
scala入门基础
课程内容:关于这节课表达式值函数类继承特质类型关于这节课最初的几个星期将涵盖基本语法和概念,然后我们将通过更多的练习展开这些内容。有一些例子是以解释器交互的形式给出的,另一些则是以源文件的形式给出的。安装一个解释器,可以使探索问题空间变得更容易。为什么选择 Scala?表达能力函数是一等公民闭包简洁类型推断函数创建的文法支持Java互操作性可重用Java库可重用Java工具没有性能惩罚Scala 如何工作?编译成Java字节码可原创 2020-08-31 11:22:35 · 124 阅读 · 0 评论