- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark SQL案例：分组排行榜
一、提出任务 分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。 有一组学生成绩数据...
2022-06-23 17:05:31
114
原创 SparkSQL案例：计算平均分
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 -
2022-06-23 17:00:24
542
原创 Spark RDD案例：分组排行榜
分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。预备工作：启动集群的HDFS与Spark 将成绩文件 - 上传到HDFS上目录设置项目信息（项目名、保存位置、组编号、项目编号）将目录改成目录在文件里添加依赖与Maven构建插件（三）创建日志属性文件在资源文件夹里创建日志属性文件 - （四）创建分组排行榜单例对象在包里创建单例对象...
2022-06-23 16:56:27
292
原创 Spark RDD 案例：统计每日新增用户
一、提出任务 有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分 Python成绩表 - python.txt （五）本地运行程序，查看结果 在控制台查看输出结果
2022-06-23 16:55:36
154
原创 Spring Boot + ECharts 案例演示
插入表记录 查看班级表记录利用Spring Initializr创建Spring Boot项目 - EChartsDemo添加依赖 设置项目名称与保存位置 单击【Finish】按钮在包里创建子包，在子包里创建类 （四）创建班级映射器接口在包里创建子包，在子包里创建接口 （五）创建班级映射器配置文件在里创建目录，在里面创建 （六）创建班级服务类在包里创建子包，在子包里创建类 （七）创建班级控制器在包里创建子包，在子包里创建类 （八）添加ECharts和jQuer
2022-06-23 16:18:20
77
原创 Spark RDD案例:词频统计
Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上
2022-06-16 09:14:40
913
1
原创 创建RDD
- Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。- RDD的弹性主要是指当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。分布式数据集是指一个数据集存储在不同的节点上，每个节点存储数据集的一部分。将数据集（hello,world,scala,spark,love,spark, happy）存储
2022-06-14 10:23:37
69
原创 Scala简介与安装
- Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。- Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。- Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后
2022-06-14 09:49:26
168
原创 Spring框架
（一）Spring官网网址：https://spring.ioSpring Framework -Spring Framework目前（2022-5-27）Spring Framework版本是5.3.20（二）Spring框架优点Spring makes Java productive.Spring makes Java reactive.Spring makes Java cloud-ready.Spring makes Java simple.Spring make...
2022-05-29 11:42:16
265
原创 Spark集群搭建
一、Spark集群拓扑（一）集群拓扑（二）集群角色分配Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。节点 -角色 master Master slave1 Worker slave2 Worker 二、搭建集群（一）利用SecureCRT登录三台虚拟机打开连接对话框1、登录master虚拟机配置三台虚拟机IP-主机名映射192.1..
2022-03-09 20:27:17
3546
原创 创建与配置虚拟机
任务1;创建网络与实例网络拓扑结构：任务2、本机远程桌面连接lk_win7虚拟机：lk_win7虚拟机的外网IP地址：192.168.177.40输入自己设置的帐户密码：远程连接成功！（连接成功后系统截不了图所以拍的照）任务3、通过SecureCRT远程登录master、slave1与slave2试了很久一直连不上不知道什么原因..............
2022-02-28 20:53:21
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人