![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 52
heruilong1988
喜欢动漫 排球
展开
-
spark 安装与运行
1.f1.sbt package[error] import org.apache.spark.SparkContext_[error] ^[error] one error found[error] (compile:compile) Compilation failed原创 2014-04-25 13:48:40 · 487 阅读 · 0 评论 -
遇到的spark 错误
1.Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory原创 2014-05-28 18:48:05 · 1026 阅读 · 0 评论 -
spark 利用hdfs与本地文件系统的时间比较
hdfs: Total time: 674 s, completed 2014-6-18 12:44:48local file system: 1067s原创 2014-06-18 12:49:23 · 884 阅读 · 0 评论 -
spark1.0 与spark0.9
1.0 MLlib分类与回归分析线性支持向量机2.原创 2014-06-18 08:13:17 · 620 阅读 · 0 评论 -
spark 调优
1.数据序列化2.内存调优3.其它因素翻译 2014-05-29 17:54:12 · 859 阅读 · 0 评论 -
Spark + Flume
SparkStreaming 提供一个处理Flume流的事件,原创 2014-07-03 11:37:31 · 7068 阅读 · 2 评论 -
在程序中设置spark applicaton的属性
设置spark application 属性 val environmentV = Map[String, String]() environmentV += ("spark.cores.max"->"1") environmentV += ("spark.executor.memory"-> "2g") val conf = new SparkConf原创 2014-05-28 16:16:56 · 761 阅读 · 0 评论 -
lda_spark代码
单机版下测试,对于小文档来说可以运行,一j原创 2014-05-28 13:42:00 · 1246 阅读 · 0 评论 -
lda 优化后用的内存小了
import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfimport org.apache.spark.rdd._import scala.io.Sourceimport scala.collection.mutable.原创 2014-06-13 13:01:37 · 1462 阅读 · 0 评论 -
软件学报的主题分析
下载了50篇文章cb原创 2014-06-24 09:44:02 · 706 阅读 · 0 评论 -
朴素贝叶斯分类器
import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.rdd._import scala.util.parsing.json._import java.util.StringTokenizerimport scala.collection.mut原创 2014-05-21 15:34:09 · 765 阅读 · 0 评论 -
基于spark的朴素贝叶斯分类器
根据TDA里面的情感分析实现的基于spark的朴素贝叶斯分类器import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.rdd._import scala.util.parsing.json._import java.util.StringT原创 2014-05-21 15:30:06 · 2628 阅读 · 0 评论 -
spark连接web界面
今天想了一下自己构想的项目原创 2014-07-09 17:46:58 · 3324 阅读 · 3 评论