Spark
文章平均质量分 93
BIG*BOSS
这个作者很懒,什么都没留下…
展开
-
【spark】基于Spark的电影推荐系统-[Linux命令]
基于Spark的电影推荐系统项目架构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1or0zmTg-1576498521313)(D:\data\Spark\jiagou.png)]组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaD...原创 2019-12-16 20:21:04 · 816 阅读 · 0 评论 -
【spark】基于Spark的电影推荐系统+[详细代码及配置]
基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0_25Zookeeper3.4.12Hadoop配置core-site.xm...原创 2019-12-16 20:14:46 · 12524 阅读 · 9 评论 -
【spark】NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer
原创 2019-12-16 17:26:31 · 880 阅读 · 0 评论 -
【spark】写入mysql错误:No suitable driver
指定jdbc driver首先你得找driver的jar包,放在自己知道的路径下,然后运行任务用下面这条指令spark-submit --jars /opt/testfiles/mariadb-java-client-2.2.1.jar --driver-class-path /opt/testfiles/mariadb-java-client-2.2.1.jar --conf spark.e...原创 2019-12-12 17:18:14 · 807 阅读 · 0 评论 -
【Spark Mlib ALS】训练测试得出最佳model,电影推荐
设置参数,训练找出最佳modelpackage main.scala.com.hopu.myalsimport org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating}import org.apache.spark.{SparkConf, SparkContext}import org.ap...原创 2019-12-11 19:18:27 · 863 阅读 · 0 评论 -
【Spark】RDD编程、算子
Spark之RDD编程1.编程模型在Spark中,RDD被表示为对象,通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后,就可以调用actions触发RDD的计算,action可以是向应用程序返回结果(count, collect等),或者是向存储系统保存数据(saveAsTextFile等)。在Spark中,只有遇到action,才会执行RDD的...原创 2019-11-22 16:08:43 · 363 阅读 · 0 评论 -
【Spark】RDD详细介绍
Spark-RDD1.RDD概述RDD是Spark的基石,是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢?Hadoop的MapReduce是一种基于数据集的工作模式,面向数据,这种工作模式一般是从存储上加载数据集,然后操作数据集,最后写入物理存储设备。数据更多面临的是一次性处理。MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS、凸优...原创 2019-11-21 11:31:02 · 431 阅读 · 0 评论 -
【Spark】Spark介绍(架构、生态、特点、角色)
Spark介绍1.概述Spark是一种快速、通用、可扩展的大数据分析引擎,于2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目是用Scala进行编写。Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLib、Spar...原创 2019-11-21 11:28:29 · 4431 阅读 · 0 评论