![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 85
纪辰晓
全栈工程师+创业者
展开
-
Spark加载放在Tomcat容器中的mlib模型报错:org.apache.hadoop.fs.ChecksumException
一、问题使用Intellij IDEA构建工程,将spark mlib训练的模型放到resources下,训练的模型包括data和metadata两个部分,其中在程序加载metadata时,报校验和异常。Java代码加载模型的代码如下:SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict")原创 2016-09-13 15:48:46 · 2082 阅读 · 0 评论 -
Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI
问题:在Intellij IDEA中构建Spark独立应用,使用Spark2.0。需要生成spark上下文,代码如下:SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict");SparkContext sc = new SparkContext(conf);使用Spark1.6.1时,这样原创 2016-09-13 16:57:44 · 3239 阅读 · 0 评论 -
Spark基本概念简介
1 Hadoop等大数据分析工具的问题以及未来趋势有问题才有发展,如果Hadoop足够完美,那么就没有Spark什么事了。但是有两个因素决定不可能有完美的东西:一、只要稍微复杂点的东西就无法保证像1+1=2那样完美无瑕;二、任何事物无法逃脱时代的局限性,也就是时代发展了,这些东西就过期了。那么现在的hadoop有什么问题呢?最大的也是吐槽最多的一个问题自然是hadoop转载 2016-08-13 13:07:24 · 869 阅读 · 0 评论 -
Windows下Spark-mlib保存模型到本地报空指针解决方案
一、问题描述在windows下用Spark mlib跑机器学习模型时,保存模型到本地,出现空指针异常。代码如下:import org.apache.spark.mllib.classification.{LogisticRegressionWithLBFGS, SVMWithSGD}import org.apache.spark.mllib.evaluation.BinaryClas原创 2016-08-26 19:01:28 · 4907 阅读 · 0 评论