2016Spark
文章平均质量分 62
zekizz
这个作者很懒,什么都没留下…
展开
-
第一课 Scala光速入门
DT大数据梦工场 第一课 Scala光速入门王家林_DT大数据梦工厂http://blog.sina.com.cn/s/blog_686c3cfb0102w4uz.html原创 2016-03-06 20:31:26 · 801 阅读 · 0 评论 -
Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程
部分内容参考Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04本文从头开始零基础完全配置,适合小白。 本文在vmware中配置三台虚拟机,一台做Master,两台Worker,hadoop 和spark只需要在Master上配置,然后cp到worker上,包括配置文件。Ubuntu基本环境配置创建hadoop用户在终端中输入sudo useradd -m ha原创 2016-03-24 10:39:35 · 3797 阅读 · 0 评论 -
第3课:Scala函数式编程彻底精通及Spark源码阅读
本期内容:Scala 中函数式变成彻底详解Spark源码中的Scala函数式编程案例和作业原创 2016-03-07 23:33:13 · 852 阅读 · 0 评论 -
Spark 入门经典 WordCount 单机/伪分布式
Spark 单机版本安装安装JavaWin7 下如何配置java环境变量安装scalahttp://www.scala-lang.org/ 按步骤点确定即可此时需要注意 hadoop2.6.x 只能使用 scala2.10.x , 否则会报错无法运行Intellij IDE 开发下载后安装scala插件下载spark预编译版本将spark-assembly-1.6.1-hadoop2.6.0原创 2016-03-25 12:36:54 · 2447 阅读 · 0 评论 -
Scala面向对象彻底精通及Spark源码阅读
Scala 面向对象原创 2016-03-07 18:52:15 · 607 阅读 · 0 评论 -
Spark 编程基础
基本框架package week2import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.SparkContext._object WordCount1 { def main(args: Array[String]) { if (args.length == 0) { System.e原创 2016-04-10 00:52:31 · 1082 阅读 · 0 评论 -
Spark1.6.0 Hadoop2.6.0 单机win7下配置(Intellij IDEA)
1. 首先需要注意的Scala版本要与Spark相应版本对应 比如Spark1.6.0,官网上给出了依赖 Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.原创 2016-11-24 19:58:17 · 4663 阅读 · 0 评论 -
Spark word2vec使用
Spark 提供有两个包提供了word2vec, 分别是org.apache.spark.mllib.feature.{Word2Vec, Word2VecModel}org.apache.spark.ml.feature.Word2Vec本质没有太大的区别,只是两个包的作用对象不一样spark.mllib contains the original API built on top of RDDs.spark.ml provides higher-level API built on top原创 2016-12-08 20:23:27 · 15570 阅读 · 1 评论