Spark
文章平均质量分 96
阿坨
曾迷途才怕追不上满街赶路人
展开
-
基于ALS的音乐分析及离线推荐系统的设计与实现报告
文章目录摘要数据说明相关技术介绍Sqoop概述Spark概述协同过滤推荐算法概述系统设计与实现数据分析热门推荐个性化推荐前台交互展示总结摘要在互联网时代,各类的音乐网站提供了成千上万的需求,满足了人们对于音乐的需求,让我们在通勤出行或者闲暇之余可以听到各种不同类型的音乐。而通过分析挖掘海量的历史音乐欣赏记录和用户数据,我们得以窥见消费者选择音乐背后的动机,并可以揭示特定人群的“音乐DNA”。这能够启发强大的营销战略,能够给音乐运营商带来极富价值的数据。而数字音乐的迅速发展造成了音乐歌曲的过剩,面对海量的原创 2021-01-14 20:19:33 · 2386 阅读 · 9 评论 -
基于Spark的音乐专辑数据分析(scala)
前言本项目所使用的数据及其编写的代码,可戳 https://download.csdn.net/download/atuo200/12716083下载。本项目采用scala编写数据分析代码,若采用python编写数据分析代码,可参考 基于Spark的音乐专辑数据分析展示。数据来源数据集albums.csv,包含了10万条音乐专辑的数据。主要字段说明如下:album_title:音乐专辑名称genre:专辑类型year_of_pub: 专辑发行年份num_of_tracks: 每张专辑中单曲数原创 2020-08-15 20:07:52 · 7322 阅读 · 8 评论 -
Linux无坑安装sbt
下载sbt下载:https://sbt-downloads.cdnedge.bluemix.net/releases/v1.3.0/sbt-1.3.0.zip下载完用rz工具把安装包上传到虚拟机,然后解压注意.zip后缀的压缩包用unzip命令解压sudo unzip -q sbt-1.3.0.zip设置国内仓库默认情况下,sbt使用的是国外的仓库地址,打包编译的时候慢的一匹(无法忍受),为了加快打包编译速度,建议更换仓库地址。mkdir ~/.sbtcd ~/.sbtvim repos原创 2020-08-05 17:45:32 · 3665 阅读 · 2 评论 -
在zookeeper上搭建Spark集群的小笔记
文章目录写在前面安装Zookeeper下载Zookeeper(先在Master上搞)配置Zookeeper创建相应的数据和日志目录分发Zookeeper目录创建myid启动zookeeper安装Spark修改Spark的配置文件启动基于zookeeper的Spark集群验证集群是否高可用写在前面Spark Standalone集群是Master-Slaves架构的集群模式,存在着Master单...原创 2020-04-23 16:22:40 · 819 阅读 · 0 评论 -
Spark分布式集群环境搭建小笔记
文章目录写在前面搭建好Hadoop集群环境安装Spark(Master节点上操作)配置环境变量(Master节点上操作)Spark配置(Master节点上操作)配置Worker节点启动Spark集群(在Master节点上操作)关闭Spark集群(在Master节点上操作)写在前面这里采用2台机器(节点)作为实例来演示如何搭建Spark集群,其中1台机器作为Master节点,另外一台机器作为Sl...原创 2020-04-19 00:36:02 · 2431 阅读 · 0 评论