基于Spark的电影推荐系统（推荐系统~3）

第四部分-推荐系统-数据加工

• 本模块基于第2节加载到 数据仓库 里的数据做进一步的加工，加工后的数据主要用于 模型训练 。

前置准备

本节我采用Spark on Yarn 来跑作业
拓展：Hadoop YARN中内存的设置
（1）yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
（2）yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。
（3）yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
$HADOOP_HOME/etc/hadoop
NM(yarn-site.xml)

<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>14336</value>
</property>

说明几点

1. 把数据仓库里 ratings表数据 切分成训练集和测试集数据 7:3 越靠近最近时间段的数据作为测试数据集。代码中的主要操作是需要将 ratings 表数据按照 timestamp 字段进行 升序 降序的
2. 调用cache table tableName or cacheTable即可将一张表缓存到内存中，来极大的提高查询效率,主要由于后面代码多次使用到
   

开始项目Coding

步骤一： 在第二节中的项目中，新建machiniing包，再新建RatingDataApp

package com.csylh.recommend.datamachining

import org.apache.spark.sql.{
   SaveMode, SparkSession}
import org.apache.spark.storage.StorageLevel

/**
  * Description:
  *   数据加工:  ratings 评分数据[≈0.27亿]切分成训练集和测试集数据 7:3
  *
  *   为模型训练 准备的RDD数据集
  *   ratings(userId int,movieId int,rating Double,timestamp int)
  *   ==> timestamp 拆分
  *   trainingData(userId int,movieId int,rating double) 前70% 训练集
  *   testData(userId int,movieId int,rating double)  后3