Python Spark创建推荐引擎 (3) 学习笔记十二

最新推荐文章于 2020-05-12 21:56:18 发布
置顶 最新推荐文章于 2020-05-12 21:56:18 发布
阅读量269 收藏 2
点赞数 1
分类专栏： Python Spark Hadoop 机器学习 大数据 文章标签： Recommend 推荐电影 Python Spark创建推荐引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45122866/article/details/99684211
版权

12.10创建Recommend项目

这里我们将建立Recommend推荐系统，系统有2个程序，说明如下
·RecommendTrain.py
（1）数据准备阶段
读取u.data，经过处理后产生评分数据ratingsRDD
（2）训练阶段
评分数据ratingsRDD经过ALS.train训练后产生Model
（3）存储模型
存储模型Model在本地货HDFS中，作为后续推荐使用。
·Recommend.py
（1）数据准备阶段
读取u.item，产生movieTitle（电影ID/名称字典）。
（2）载入模型
载入之前存储的模型Model
（3）推荐阶段
使用模型Model进行推荐，并使用movieTitle转换显示推荐的电影名称。
Recommend推荐系统示意图
在这里插入图片描述

12.10.1启动eclipse

最低0.47元/天 解锁文章
停止的闹钟
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkContext主要组成部分
大冰的小屋
09-07 7076
1. 基本说明SparkContext是应用程序的提交执行的前提。先来看一下SparkContext的注释：/** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used to create RDDs, ac
实例：2. ALS算法（pycharm）
ant的博客
01-08 2812
分为两个部分： 1. 训练模型 RecommendTrain.py 2. 推荐 Recommend.py   将模型保存起来，可以更方便的调用 模型的保存和加载： model.save(sc, Path + "ALSmodel") model = MatrixFactorizationModel.load(sc, Path+"ALSmodel")     RecommendTr...
Spark 集成开发
weixin_30755709的博客
09-06 66
WordCount.py # coding:utf-8 from pyspark import SparkContext from pyspark import SparkConf def SetLogger(sc): """设置不要显示过多信息""" logger = sc._jvm.org.apache.log4j logger.LogMana...
从Spark-Shell到SparkContext的函数调用路径过程分析（源码）
weixin_33985679的博客
09-25 77
　　 　  不急，循序渐进，先打好基础     Spark shell的原理 　　 首先，我们清晰定位找到这几个。   1、spark-shell     2、 spark-submit     3、spark-class        4、SparkSubmit.scala            5、SparkILoop.scala...
spark note
04-03 1654
SparkContext: def createSparkContext(): SparkContext = { val master = this.master match { case Some(m) => m case None => { val prop = System.getenv("MASTER") if (prop != null) prop else "local"
python3 字符串知识点学习笔记
12-20
python字符串 字符串是 Python 中最常用的数据类型。我们可以使用引号(‘或”)来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。.../usr/bin/python3 var1 = 'Hello World!' var2 = "jb51.net" print ("var
Python学习笔记——大数据之SPARK核心
02-24
RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）...
python3学习笔记–python中的数据类型汇总。
12-20
python数据类型汇总一.数值型Number1.int2.float3.complex4.数据类型转换二.字符串str对字符串进行操作,字符串的方法。1. 字符串切片2. 字符串统计3. 判断4. 拼接5. 对字符串操作后输出6. 转换7. 索引三.列表list对...
Python学习笔记——大数据之Spark简介与环境搭建
01-27
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。 核心组件如下： SparkCore：包含Spark的基本功能；尤其是...
《深入理解SPARK：核心思想与源码分析》——SparkContext的初始化（仲篇）——SparkUI、环境变量及调度...
weixin_30457551的博客
02-22 283
《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市 《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章SPARK设计理念与基本架构》 由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。 ...
Spark2.1.0——SparkContext初始化之Spark环境的创建
beliefer的博客
11-16 1351
阅读指导：在《Spark2.1.0——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。          在Spark中，凡是需要执行任务的地方就需要SparkEnv。在生产环境中，SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要，因此在Driver本地的Executor也需要Spa...
三、SparkContext详解
一朵的专栏
01-17 408
一 架构图 上图以standalone模式为例。 SparkContext创建TaskScheduler，DAGScheduler，SparkUI。 TaskSchedulerImpl就是我们所说的TaskScheduler，底层主要基于StandaloneSchedulerBackend来工作。 StandaloneSchedulerBackend在底层接收TaskScheduler...
在Python的环境下对Spark文件操作
幸运的Alina的博客
06-20 1472
在实际使用Spark做集群运算的时候我们会遇到很多实际的问题，特记录下来，本文主要讲解关于Spark读文件为RDD ，然后RDD转DataFrame，然后将RDD存为文件，以及如何保存DataFrame到文件 from pyspark.sql import SparkSession def CreateSparkContext(): # 构建SparkSession实例对象 ...
Spark-源码-SparkContext的初始化
Q75999的博客
11-19 175
Spark版本 1.3SparkContext初始化流程 1.0 在我们的主类 main() 方法中经常会这么写 　　val conf = new SparkConf().setAppName("name").setMaster("local") 　　val sc = new SparkContext(conf) 　　conf 中保存的是Spark的参数 　　sc 是...
基于Python Spark的推荐系统
SanFancsgo的博客
09-10 10000
ALS推荐算法 Spark MLlib中实现了ALS(Alternating Least Squares)基于协同过滤的推荐算法。 MovieLens数据集 MovieLens数据集收集了大量用户对不同电影的评分，详情见数据集官网http://grouplens.org/datasets/movielens。 下载ml-100k数据至工作目录中，终端输入命令： mkdir -p ...
【Spark】5、决策树二元分类
Alexander的博客
07-17 1993
本节使用决策树二元分类分析StumbleUpon数据集，预测网页是暂时性的（ephemeral）或是长青的（evergreen），并调校参数找出最佳参数组合，提高预测准确度。 StumbleUpon Evergreen大数据问题场景分析 StumbleUpon是一个个性化的搜索引擎，会按用户的兴趣和网页评分等记录推荐给你感兴趣的网页，有些网页是暂时性的，比如新闻，这些文章可能只是在某一段时间会对读...
Spark机器学习之MLlib整理分析
aseuib2243的博客
09-21 579
友情提示： 本文档根据林大贵的《Python+Spark 2.0 + Hadoop机器学习与大数据实战》整理得到，代码均为书中提供的源码（python 2.X版本）。 本文的可以利用pandoc转换为docx文档，点击这里安装下载pandoc后，在终端输入以下命令： pandoc youfilename.md -f markdown -t docx -s -o outputfilen...
Spark中组件Mllib的学习6之ALS测试（apache spark 含隐式转换）
Keep Learning
05-16 2511
更多代码请见：https://github.com/xubo245/SparkLearning spark-1.5.2 1解释 使用spark 官网推荐的算法,使用了隐式转换2.代码：package apache.spark.mllib.learning.recommendimport java.text.SimpleDateFormat import java.util.Dateimport
HDFS的学习和使用
热门推荐
哈工大许政的博客
05-12 2万+
HDFS的学习和使用 本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用 CentOS 7.3 1. HDFS简介 1.1 什么是HDFS HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，不支持文件的修改。 1.2 HDFS的优点 高容错性 数据自动保存多个副本；当某一个副本丢失以后，可以自动恢复 适合处理大数据 能够处理数据规模达到GB、TB的数据；能够处理百万规模以上的文件数量 可以构建在廉价的机器上，通过多副本机制，提供可靠性 1
python note.doc
12-17
Python学习的基础包括语法、数据类型、控制语句、函数、模块、包、类与继承、字符编码以及数据读写等。这些内容在学习Python时都是非常重要的基础知识。 在Python中，我们可以使用指定的标识符来定义变量和函数。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值