![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
龙之焱影
这个作者很懒,什么都没留下…
展开
-
RDD编程初级进阶
前言 这里基于前面做过的RDD初级程序,以及后来搭建的本机的运行spark的环境,进行下面代码的编写 任务一 任务描述:在推荐领域有一个著名的开放测试集,下载链接是:http://grouplens.org/datasets/movielens/,该测试集包含三个文件,分别是ratings.dat、sers.dat、movies.dat,具体介绍可阅读:README.txt。请编程实现:通过连接r...原创 2019-11-09 09:58:34 · 1521 阅读 · 1 评论 -
RDD初级编程
RDD初级编程 我们的数据集为Data01.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示: Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 打开spark-shell 这里我们使用spark-shell连接上yarn...原创 2019-11-02 10:22:09 · 2614 阅读 · 3 评论 -
Spark-SQL实验
目的 通过实验掌握Spark SQL的基本编程方法 熟悉RDD到DataFrame的转化方法 熟悉利用Spark SQL管理来自不同数据源的数据 平台 hadoop2.8.5 spark2.3.4 Mysql数据库 内容 任务一:Spark SQL基本操作 数据:employee.json 格式: { "id":1 ,"name":" Ella","age":36 } { "id":2,"...原创 2019-12-07 08:16:02 · 2050 阅读 · 0 评论 -
使用IDEA进行RDD编程+scala打包运行
前言 本篇文章结合上一篇文章的spark-shell编程的基础,进行了如下工作 将scala的shell中的命令整合成一个完整的.scala格式的文件 使用IDEA将程序打包上传后执行 配置IDEA连接hadoop和spark,直接在本地上运行.scala文件 安装IDEA 一、本机下载安装scala 1.说明 这一步可以跳过,因为在后面可以直接在IDEA中安装scala,但是由于在线安装时间...原创 2019-11-08 21:39:34 · 2335 阅读 · 5 评论