Spark
文章平均质量分 85
纪辰晓
全栈工程师+创业者
展开
-
Spark加载放在Tomcat容器中的mlib模型报错:org.apache.hadoop.fs.ChecksumException
一、问题 使用Intellij IDEA构建工程,将spark mlib训练的模型放到resources下,训练的模型包括data和metadata两个部分,其中在程序加载metadata时,报校验和异常。Java代码加载模型的代码如下: SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict")原创 2016-09-13 15:48:46 · 2050 阅读 · 0 评论 -
Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI
问题: 在Intellij IDEA中构建Spark独立应用,使用Spark2.0。需要生成spark上下文,代码如下: SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict"); SparkContext sc = new SparkContext(conf);使用Spark1.6.1时,这样原创 2016-09-13 16:57:44 · 3207 阅读 · 0 评论 -
Spark基本概念简介
1 Hadoop等大数据分析工具的问题以及未来趋势 有问题才有发展,如果Hadoop足够完美,那么就没有Spark什么事了。但是有两个因素决定不可能有完美的东西:一、只要稍微复杂点的东西就无法保证像1+1=2那样完美无瑕;二、任何事物无法逃脱时代的局限性,也就是时代发展了,这些东西就过期了。 那么现在的hadoop有什么问题呢? 最大的也是吐槽最多的一个问题自然是hadoop转载 2016-08-13 13:07:24 · 847 阅读 · 0 评论 -
Windows下Spark-mlib保存模型到本地报空指针解决方案
一、问题描述 在windows下用Spark mlib跑机器学习模型时,保存模型到本地,出现空指针异常。代码如下: import org.apache.spark.mllib.classification.{LogisticRegressionWithLBFGS, SVMWithSGD} import org.apache.spark.mllib.evaluation.BinaryClas原创 2016-08-26 19:01:28 · 4874 阅读 · 0 评论