Scala
BUPT-WT
不积硅步无以至千里,不积小流无以成江海
展开
-
spark计算TF-IDF值(中文)
背景: 挖掘重要的关键词问题:数据量较大(百万量级),单机版的python虽然处理起来简单,但是时间较长,内存是否溢出还不好说(看机器性能)解决方案: spark 分布式处理原始数据: 一个txt文件,文件格式每一行都是去停用词、分词之后的句子代码如下:import org.apache.spark.ml.feature.{HashingTF,IDF,Tokenizer}...原创 2019-12-05 21:22:09 · 1145 阅读 · 0 评论 -
scala基础知识
1、声明值和变量定义一个常量(val)、 定义一个变量var可以将多个值放在一起声明:2、常用类型数值类型 Byte、Char、Short、Int、Long 、Float 、Doubleboolean类型Scala中来做数值之间的转换是用方法进行类型转换而不是强制类型转换例子如下:左侧python 用到强制类型转换、右侧scala是用到方法 (toStr...原创 2018-08-24 17:29:25 · 222 阅读 · 0 评论 -
scala函数
1、方法的定义和使用def 方法名(参数名:参数类型):返回值类型 = { //方法体 //方法体的最后一行为返回值,不需要使用return}2、默认参数的使用在函数定义时候允许使用默认参数3、命名参数的使用传入函数参数时位置不必对应,参数名相同即可4、可变参数的使用5、条件表达式6、循环表达式 ...原创 2018-11-16 10:58:25 · 96 阅读 · 0 评论 -
scala面向对象
1、scala面向对象概述oo封装:属性、方法封装到类中 User: int id,String name,Date birthday ..... getter/setter继承:父类和子类之间的关系 User extends Person多态:父类引用指向子类对象 Person person = new User() ...原创 2018-11-17 12:44:26 · 113 阅读 · 0 评论 -
scala集合
1、数组定长数组变长数组遍历数组2、列表Nil空表可变列表与不可变列表3、集合无序、不能重复4、Map映射是键/值对偶的集合5、Option&Some&None6、Tuple 对偶是元组的最简单的形态-元组是不同类型的值的聚焦...原创 2018-11-17 13:29:16 · 116 阅读 · 0 评论 -
scala模式匹配
1、数据类型的模式匹配2、加条件进行匹配(守卫)3、Array模式匹配4、List模式匹配5、类型模式匹配6、异常处理7、case class模式匹配( 样例类)8、some&None模式匹配 ...原创 2018-11-17 14:54:37 · 143 阅读 · 0 评论 -
scala函数高级操作
1、字符串高级操作1)多行 2)插值2、匿名函数3、Curry函数(柯里化)scala里Curry化可以把函数从接收多个参数转换成多个参数列表,如果要用同样的一组实参多次调用一个函数,可以用curry来减少噪音也就是说,写的不是def foo(a:Int,b:Int,c:Int){} ,而是def foo(a:Int)(b:Int)(c:Int){}。可以这...原创 2018-11-17 15:38:28 · 477 阅读 · 0 评论 -
scala隐式转换
1、隐式转换概述:为一个已经存在的东西添加新的功能上去需求:为一个已存在的类添加一个新的方法,不用源代码对第三方添加新的方法2、隐式转换3、隐式参数在函数或者方法中,定义一个用implicit修饰的参数,此时scala会尝试找到一个指定类型的,用implicit修饰的对象,即隐式中值,并注入参数4、隐式类对类增加implicit限定的类,其作用主要是对类的增强...原创 2018-11-17 15:46:54 · 127 阅读 · 0 评论 -
Scala操作外部数据
1、操作文件2、操作XML3、操作mysql原创 2018-11-17 15:49:19 · 169 阅读 · 0 评论