![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala学习
曹向前
众生皆苦
展开
-
使用Scala实现Spark wordcount统计
使用Scala实现Spark wordcount统计sc.textFile("./ml-1m/movies.dat").flatMap(line => line.split("::")).map(word => (word,1)).reduceByKey((v1,v2) => v1 + v2).collect// 两者实现的功能一样,只是写法不同sc.textFil...原创 2018-03-31 14:02:13 · 1286 阅读 · 0 评论 -
Scala笔记
Scala特性代码简洁函数式编程,同样也支持面向对象开发速度快能融合到hadoop生态圈Spark,flink都是使用scala开发变量声明scala 中可以使用val 和 var 声明变量使用val声名的变量是不可变的,类似java中final修饰的变量使用var是可变的变量的类型可以省略,scala会自动推导val a = 1;val b:Int =...原创 2018-03-31 18:23:57 · 152 阅读 · 0 评论 -
hello world第一个scala程序
第一个scala hello world程序新建一个文件Hello.scalaobject Hello { def main(args:Array[String]){ println("Hello world.") }}编译scalac Hello.scala使用scala命令运行scala Hello使用ja...原创 2018-03-31 19:53:44 · 218 阅读 · 0 评论 -
Scala数据类型
scala数据类型Any是所有类型的父类型,其两个子类型是AnyVal和AnyRef(java.lang.Object)AnyVal代表值类型,scala有九种值类型,它们不可为空值,分别是:Double, Float, Long, Int, Short, Byte, Unit, Boolean, Char。Unit类似java中的void,scala的函数必须返回一些东西,当返回的东西没...原创 2018-03-31 21:00:38 · 219 阅读 · 0 评论 -
scala学习
条件表达式一个条件表达式是有返回值的scala会自动推断表达式的返回类型scala> val a = if(true) "true"a: Any = truescala> val a = if(true) "true" else () // 如果不写else则返回默认的()a: Any = truescala> val a = () // 验证Unit...原创 2018-04-01 20:36:29 · 111 阅读 · 0 评论 -
scala函数和方法
方法// def是声明方法的关键字,hello方法名,str:String参数和类型,:Unit返回值类型,= 用于连接方法签名和方法体scala> def hello(str: String): Unit = { | println("hello" + str) | }hello: (str: String)Unitscala> hello...原创 2018-04-10 20:33:19 · 1305 阅读 · 0 评论 -
wordCount(scala版本)
scala实现wordcountscala> val str = "a,b,c,a,b,f";str: String = a,b,c,a,b,fscala> val word = str.split(",")word: Array[String] = Array(a, b, c, a, b, f)scala> val wordMap = word.map(原创 2018-06-21 13:46:24 · 517 阅读 · 0 评论 -
Maven构建spark工程,scala和java混合编码
新建普通java maven工程,修改pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema...原创 2018-08-28 20:21:34 · 424 阅读 · 0 评论 -
caused by: java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonFactory.requiresPropertyOrder
18/08/28 22:02:35 ERROR MetricsSystem: Sink class org.apache.spark.metrics.sink.MetricsServlet cannot be instantiated18/08/28 22:02:35 ERROR SparkContext: Error initializing SparkContext.java.lang.r...原创 2018-08-28 22:12:27 · 2292 阅读 · 0 评论