Spark
文章平均质量分 92
关于Spark的博客
John Zhuang
心如止水
展开
-
Spark大数据分析与实战:基于Spark MLlib 实现音乐推荐
Spark大数据分析与实战:基于Spark MLlib 实现音乐推荐基于Spark MLlib 实现音乐推荐一、实验背景:熟悉 Audioscrobbler 数据集基于该数据集选择合适的 MLlib 库算法进行数据处理进行音乐推荐(或用户推荐)二、实验目的:计算AUC评分最高的参数利用AUC评分最高的参数,给用户推荐艺术家对多个用户进行艺术家推荐利用AUC评分最高的参数,给艺术家推荐喜欢他的用户三、实验步骤:安装Hadoop和Spark启动Hadoop与Spark将文件上传到原创 2021-06-26 16:29:32 · 18357 阅读 · 258 评论 -
Spark大数据分析与实战:基于Spark框架实现TopN
Spark大数据分析与实战:基于Spark框架实现TopN基于Spark框架实现TopN一、实验背景:基于Spark框架实现TopN二、实验目的:获取蜀国武将中武力值最高的5位,即通过分布式计算框架实现从原始数据查询出武力最高的Top5三、实验步骤:启动 hadoop创建 rank.txt 文件将 rank.txt 文件上传到 HDFS 上实现TopN计算查看 HDFS 上的结果四、实验过程:1、启动 hadoopShell命令:[root@master ~]# cd /原创 2021-06-26 15:37:05 · 10612 阅读 · 49 评论 -
Spark大数据分析与实战:Spark Streaming编程初级实践
Spark Streaming编程初级实践一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有,大家可以通过以下链接进入操作:Hadoop的安装:https://blog.csdn.net/weixin_47580081/article/details/108647420Scala及Spark的安装:https://blog.csdn.net/weixin_47580081/article/details/114250894提示:如果IDEA未构建Spark项目,可以转接到以下的博客原创 2021-04-23 15:08:33 · 14636 阅读 · 6 评论 -
Linux基础环境搭建(CentOS7)- 安装Flume
Linux基础环境搭建(CentOS7)- 安装Flume大家注意以下的环境搭建版本号,如果版本不匹配有可能出现问题!Linux基础环境搭建(CentOS7)- 虚拟机准备Linux基础环境搭建(CentOS7)- 安装JDKLinux基础环境搭建(CentOS7)- 安装HadoopLinux基础环境搭建(CentOS7)- 安装ZookeeperLinux基础环境搭建(CentOS7)- 安装KafkaLinux基础环境搭建(CentOS7)- 安装HBaseLinux基础环境搭建(C原创 2021-04-23 13:26:28 · 14365 阅读 · 9 评论 -
Spark大数据分析与实战:Spark SQL编程初级实践
Spark大数据分析与实战:Spark SQL编程初级实践一、Spark SQL基本操作将下列JSON格式数据复制到Linux系统中,并保存命名为employee.json。{“id”:1,“name”:“Ella”,“age”:36}{“id”:2,“name”:“Bob”,“age”:29}{“id”:3,“name”:“Jack”,“age”:29}{“id”:4,“name”:“Jim”,“age”:28}{“id”:4,“name”:“Jim”,“age”:28}{“id”:5,“原创 2021-04-15 21:17:35 · 24276 阅读 · 3 评论 -
Spark大数据分析与实战:RDD编程初级实践
Spark大数据分析与实战:RDD编程初级实践一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有,大家可以通过以下链接进入操作Linux基础环境搭建(CentOS7)- 安装HadoopLinux基础环境搭建(CentOS7)- 安装Scala和Spark二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2Spark shell命令界面与端口页面三、spark-shell交互式编程请到教程官网的“下载专区”的“数据集”中下载c原创 2021-04-04 16:33:06 · 42508 阅读 · 0 评论 -
Spark大数据分析与实战:HDFS文件操作
Spark大数据分析与实战:HDFS文件操作一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有,大家可以通过以下链接进入操作Linux基础环境搭建(CentOS7)- 安装HadoopLinux基础环境搭建(CentOS7)- 安装Scala和Spark二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2Spark shell命令界面与端口页面三、HDFS 常用操作(1) 启动Hadoop,在HDFS 中创建用户目录“/use原创 2021-03-23 20:49:30 · 43675 阅读 · 0 评论 -
Linux基础环境搭建(CentOS7)- 安装Scala和Spark
Linux基础环境搭建(CentOS7)- 安装Scala及Spark1 Scala下载及安装Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Scala的下载Scala下载链接:https://pan.baidu.com/s/1xe2u5W7k0XzZFX2r2Sk7Ag提取码:pwu7将下载的安装包通过Xftp传输到Linux虚拟机中Scala安装创建工作路径/usr/scala,下载scala安装包到原创 2021-03-01 10:01:24 · 46261 阅读 · 8 评论