Spark进阶体验

本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下 新建RDD 进行乘法操作 新建RDD 进行过滤操作 编写wordCount小例子 union的使用 groupByKey join reduce lookup 首先安装和启动spark,此部分请参照mac 单机版 spark 安装启动后进入spark 的bin 目录运行spark-shell 进入终端...
阅读(1285) 评论(0)

mac安装Scala

Scala语言的名称来自于“可伸展的语言”。它是一种把面向对象和函数式编程理念加入到静态类型语言中的 混血儿。它跑在标准的 Java 平台上,可以与所有的 Java 库实现无缝 交互。它也是用来编写脚 把 Java 控件链在一起的很好的语言。但是用它来建立大系统 和可重用控件的架构将更能够发挥它的力量。 安装scala需要如下步骤 下载压缩包并解压 配置环境变量 检验安装结果 1.进入官网下载压缩包...
阅读(4810) 评论(0)

mac 单机版 spark 安装

本文介绍安装单机版的spark,安装单机版的spark 分一下步骤 安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scalamac安装scala教程下载spark压缩包并解压到官网下载spark的安装包(我用的是spark-2.0.1-bin-hadoop2.7.tgz)http://mirror.bit.edu.cn/apache/spa...
阅读(2753) 评论(0)
    个人资料
    • 访问:640177次
    • 积分:9011
    • 等级:
    • 排名:第2312名
    • 原创:305篇
    • 转载:34篇
    • 译文:0篇
    • 评论:209条
    博客专栏