spark
文章平均质量分 54
liuxuejiang158
做点笔记,省的百度不到。。。
展开
-
GraphX编译报错
[error] /home/spark/spark/apps/sina/src/main/scala/test.scala:6: object graphx is not a member of package org.apache.spark[error] import org.apache.spark.graphx._[error] ^原创 2014-07-16 11:33:43 · 4556 阅读 · 0 评论 -
第一个GraphX程序
程序功能:收集顶点指向的邻居中所在地/* * 找出每个顶点所指向的邻居中所在的地区 */import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfimport scala.collection.mutable.Mapimpor原创 2014-07-16 14:03:44 · 3697 阅读 · 3 评论 -
spark报错java.lang.OutOfMemoryError: Java heap space
spark报错:java.lang.OutOfMemoryError: Java heap space解决飞原创 2014-08-01 20:08:36 · 28102 阅读 · 1 评论 -
GraphX笔记
val graph=GraphLoader.edgeListFile(sc,"/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点,定点默认数据是1val users = sc.textFile("/home/spark/spark/graphx/data/users.txt").map { line=> val field原创 2014-08-01 20:11:26 · 2696 阅读 · 0 评论 -
spark的独立模式集群部署
spark有三种集群部署方式:1、独立部署模式standalone,spark自身有一套完整的资源管理方式2、架构于hadoop之上的spark集群3、架构于mesos之上的spark集群 尝试了下搭建第一种独立部署模式集群,将安装方式记录如下:环境ubuntu 12.04 (两台),部署方式是和hadoop类似,先在一台机器上部署成功后直接将文件打包拷贝到其他机原创 2014-07-08 20:09:12 · 2999 阅读 · 1 评论 -
Ubuntu安装scala
1 下载包:http://www.scala-lang.org/download/原创 2014-06-03 10:15:55 · 2394 阅读 · 0 评论