基于Spark的电影推荐系统（推荐系统~3）

最新推荐文章于 2024-07-26 09:47:42 发布

留歌留歌

最新推荐文章于 2024-07-26 09:47:42 发布

阅读量3.2k

点赞数

分类专栏：基于Spark的电影推荐系统文章标签： spark 推荐系统

本文链接：https://blog.csdn.net/liuge36/article/details/102652660

版权

本篇博客介绍如何基于Spark on Yarn处理数据仓库中的ratings表，将数据切分为训练集和测试集，比例为7:3，最近的数据作为测试集。通过详细步骤展示从代码编写到执行的过程，完成数据加工，为模型训练做准备。

摘要由CSDN通过智能技术生成

第四部分-推荐系统-数据加工

本模块基于第2节加载到数据仓库里的数据做进一步的加工，加工后的数据主要用于模型训练。

前置准备

本节我采用Spark on Yarn 来跑作业
拓展：Hadoop YARN中内存的设置
（1）yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
（2）yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。
（3）yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
$HADOOP_HOME/etc/hadoop
NM(yarn-site.xml)

<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>14336</value>
</property>

说明几点

把数据仓库里 ratings表数据切分成训练集和测试集数据 7:3 越靠近最近时间段的数据作为测试数据集。代码中的主要操作是需要将 ratings 表数据按照 timestamp 字段进行升序降序的
调用cache table tableName or cacheTable即可将一张表缓存到内存中，来极大的提高查询效率,主要由于后面代码多次使用到

开始项目Coding

步骤一：在第二节中的项目中，新建machiniing包，再新建RatingDataApp

package com.csylh.recommend.datamachining

import org.apache.spark.sql.{
   SaveMode, SparkSession}
import org.apache.spark.storage.StorageLevel

/**
  * Description:
  *   数据加工:  ratings 评分数据[≈0.27亿]切分成训练集和测试集数据 7:3
  *
  *   为模型训练 准备的RDD数据集
  *   ratings(userId int,movieId int,rating Double,timestamp int)
  *   ==> timestamp 拆分
  *   trainingData(userId int,movieId int,rating double) 前70% 训练集
  *   testData(userId int,movieId int,rating double)  后3