- 博客(6)
- 收藏
- 关注
RSS订阅转载 转-WordCount
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf（）并设置App名称 * local指本地 * 2代表在本地起两个线程 */ v...
2019-05-12 19:53:42
170
原创 机器学习
机器学习概述1、数据挖掘有者50多年的发展史。机器学习是其子领域之一，特点是利用大型计算机集群来从海量 数据中分析和提取知识。2、机器学习在与计算统计学密切相关。它与数学优化紧密关联，为其提供方法、理论和应用领域。3、机器学习在各种传统设计和编程不能胜任的计算任务中有广泛的应用。典型的应用如： 垃圾邮件过滤、光学字符识别(OCR) ,搜索引擎 和 计算机视觉。4、机器学习有时...
2019-05-10 08:59:04
288
原创 scala函数与方法
方法和函数的区别两者在语义中的区别很小在scala中：方法是类的一部分 函数是一个对象，可以赋值给一个变量 类中的就是方法，普通的就是函数换句话说：在类中定义的函数就是方法scala中的方法类似于java中的方法，是组成类的一部分scala中的函数则是一个完整的对象，scala中函数其实就是继承了Trait的类的对象scala中使用val语句定义函数，def语句...
2019-05-09 21:34:26
263
原创 scala数组
声明数组语法格式var ArrayName : Array[DataType] = new Array[DataType](length)或var ArrayName = new Array[DataType](length)或var ArrayName = Array("data1", "data2", "data2")数组赋值//根据下标赋值var arr...
2019-05-09 15:44:50
635
原创 scala单例对象、伴生对象
scala单例对象在 Scala 中，是没有 static 这个东西的，但是它也为我们提供了单例模式的实现方法，那就是使用关键字 object。Scala 中使用单例模式时，除了定义的类之外，还要定义一个同名的 object 对象，它和类的区别是，object对象不能带参数。import java.io._class Position(val x :Int, val y: Int){ v...
2019-05-09 13:19:01
391
原创 spark的初步学习知识点
什么是SPARKApache Spark is a fast and general for large-scala data processingApache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。SPARK核心组件spark包括四大组件：Spark Streaming(类似于Storm，进行流式计算，处理的是实时数据(流式数...
2019-05-07 13:41:32
795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人