5.大数据
双斜杠少年
希望经记录下来自己学习过程,并和大家一块分享
展开
-
mac安装Scala
Scala语言的名称来自于“可伸展的语言”。它是一种把面向对象和函数式编程理念加入到静态类型语言中的 混血儿。它跑在标准的 Java 平台上,可以与所有的 Java 库实现无缝 交互。它也是用来编写脚 把 Java 控件链在一起的很好的语言。但是用它来建立大系统 和可重用控件的架构将更能够发挥它的力量。安装scala需要如下步骤下载压缩包并解压配置环境变量检验安装结果1.进入官网下载压缩包原创 2016-11-19 16:22:45 · 32822 阅读 · 2 评论 -
Spark进阶体验
本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下新建RDD 进行乘法操作新建RDD 进行过滤操作编写wordCount小例子union的使用groupByKeyjoinreducelookup首先安装和启动spark,此部分请参照mac 单机版 spark 安装启动后进入spark 的bin 目录运行spark-shell 进入终端原创 2016-11-19 17:32:16 · 2394 阅读 · 0 评论 -
spark 安装单机版和集群
本文介绍安装mac单机版的spark,和spark 集群安装 分以下步骤安装scala 下载spark 压缩包并解压修改spark的配置文件配置环境变量验证安装情况 安装Scalamac安装scala教程下载spark压缩包并解压到官网下载spark的安装包(我用的是spark-2.0.1-bin-hadoop2.7.tgz)http://mirr原创 2016-11-18 10:38:59 · 6357 阅读 · 0 评论