panxiong1992luo的博客

本文章用于记录scala学习经历

函数式编程：解决问题时将问题分解成一个一个的步骤，将每个步骤进行封装（函数），通过调用这些封装好的步骤，解决问题。函数的本质：函数可以当作一个值传递一、函数基础 基本语法 def sum(x : Int, y :Int):Int={x+y}var a：Int=sum(1,2) 2.核心概念： 函数：为完成某一功能的程序语句的集合成为函数 方法：类中的函数称为方法 函数没有重写和重载的概念，方法可以进行重...

object MyScalaWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("MyScalaWordCount"); //创建一个SparkContext对象 val sc = new SparkContext(conf) //读取文件及分割单词 val res = sc.textFile("/home/luohuan/in.

最近家里新买了台电脑，环境什么的又得重新安装，干脆沉淀下一篇博客记录下整个过程，省得再去搜索。 在windows环境用pycharm开发pyspark首先我们得知道什么是pyspark。首先Apache Spark用Scala编程语言编写。为了支持带有Spark的Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，你就可以使用Python编...

安装spark版本2.44下载链接这里使用的是Pre-built的版本，意思就是已经编译了好了，下载来直接用就好，Spark也有源码可以下载，但是得自己去手动编译之后才能使用。下载完成后将文件进行解压（可能需要解压两次），最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。在hadoop添加完环境变量后还是会出现如下报错，此时需要在hadoop bin 目录下添加一个文件点...

先码