- 博客(29)
- 收藏
- 关注
RSS订阅
1原创 Spark RDD案例：统计每日新增用户（大数据实训04）
目录一、提出任务二、实现思路三、完成任务（一）读取文件，得到RDD（二）倒排，互换RDD中元组的元素顺序（三）倒排后的RDD按键分组（四）取分组后的日期集合最小值，计数为1（五）按键计数，得到每日新增用户数（六）让输出结果按日期升序2022-01-01,mike2022-01-01,alice2022-01-01,brown2022-01-02,mike2022-01-02,alice2022-01-02,green2022-01-03,alice2022-01-03,smith2022-0
2022-06-20 19:38:22
398
原创 Spark SQL案例：计算平均分（大数据实训03）
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 - 1 张三丰 892 李孟达 953 唐雨涵 924 王晓云 935 张晓琳 886 佟湘玉 887 杨文达 668 陈燕文 98 Spark成绩表 - Django成绩表 - 期望输出结果如下所示：1 张三丰 81.332 李孟达 88.673 唐雨涵 92.674 王晓云 85.005 张晓琳 86.676 佟湘玉 82.337 杨文达 82.
2022-06-17 14:55:25
1162
原创 Spring Boot + ECharts 案例演示（可视化05）
执行上述命令 执行上述命令 插入表记录INSERT INTO `t_class` VALUES (1, '20软件1班', 26, 18);INSERT INTO `t_class` VALUES (2, '20软件2班', 17, 20);INSERT INTO `t_class` VALUES (3, '20大数据1班', 24, 30);INSERT INTO `t_class` VALUES (4, '20计应2班', 21, 24); 执行上述语句查看班级表记录 利用Spring Ini
2022-06-16 20:17:52
354
原创 Spark RDD案例：分组排行榜（大数据实训02）
目录一、提出任务二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件四）创建分组排行榜单例对象（五）本地运行程序，查看结果（六）交互式操作查看中间结果1、读取成绩文件得到RDD2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果 张三丰 90李孟达 85张三丰 87王晓云 93李孟达 65张三丰 76王晓云 78李孟达 60张三丰 94王晓云 97李孟达 88张三丰 80王晓云 88
2022-06-15 17:07:36
1006
原创 Spark RDD案例：词频统计（大数据实训01）
单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。预备工作：启动集群的HDFS与SparkHDFS上的单词文件 - 设置项目信息（项目名称、保存位置、组编号以及项目编号） 单击【Finish】按钮将目录改成目录.
2022-06-15 16:53:30
856
原创 玩一玩Spring Boot框架（可视化04）
Spring Boot官网：https://spring.io/projects/spring-boot，当前Spring Boot GA (General Availability)版是2.7.0利用创建项目然后再配置项目基本信息 添加相关依赖 设置项目名称与保存位置 单击【Finish】按钮，完成项目初始化关闭数据源自动配置查看数据源自动配置类 - DataSourceAutoConfiguration启动项目访问 添加路由函数，通过参数向前端模板页面传递数据 在里创建，跟路由函数里的逻辑视图名相对应
2022-06-14 20:31:10
1865
原创 Spark基础学习笔记14：掌握RDD算子
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
2022-06-13 16:26:53
580
原创 Spark基础学习笔记13：创建RDD
目录一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动Spark Shell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、简单说明（二）从外部存储创建RDD1、读取本地系统文件Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient
2022-06-13 15:50:43
341
原创 Spark基础学习笔记12：Scala类和对象
目录一、类（一）类的定义（二）类的实例化二、单例对象（一）单例对象概念（二）案例演示三、伴生对象（一）伴生对象概念（二）案例演示四、get和set方法（一）生成原则1、val修饰的属性2、var修饰的属性3、private var修饰的属性4、private[this]修饰的属性（二）案例演示任务1、利用系统自动生成的get和set方法任务2、用户自己编写私有属性的Scala风格的get和set方法任务3、用户自己编写私有属性的Java风格的get和set方法五、构造器（一）主构造器1、构造器参数带val或
2022-06-13 15:33:52
903
原创 Spark基础学习笔记11：Scala数据结构
目录一、数组 (Array)1、数组定义2、数组遍历3、常用方法（二）变长数组1、数组定义2、数组合并3、插入元素 4、移除元素二、列表 (List)（一）不可变列表1、创建不可变列表2、给列表添加元素3、列表合并操作4、二维列表（二）可变列表1、创建可变列表3、列表排序4、列表总和、平均值、最值5、添加新元素编辑 6、移除列表元素三、映射 (Map)（一）不可变映射1、创建不可变映射2、遍历不可变映射（二）可变映射1、创建可变映射2、修改可变映射3、查询可变映射4、添加元素5、删除元素四、元组 (Tup
2022-06-13 11:30:56
1465
原创 Spark基础学习笔记10：Scala函数
函数其实是一段具有特定功能的代码的集合，由函数修饰符、函数名、函数参数列表、函数返回值声明与函数体组成。[public | private | protected] def 函数名(参数列表) : 返回值声明 = {函数体}函数通过def关键字定义def前面可以具有修饰符，可以通过private、protected来控制其访问权限。注意默认访问权限是public还可使用override、final等关键字修饰函数体中return关键字往往可以省略掉，一旦省略掉，函数将会返回整个函数体中最后一行表达式的
2022-06-12 11:22:10
456
原创 Spark基础学习笔记09：Scala内建控制结构
if (条件) 值1 else 值2条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类型，否则就是类型当然也可以在一个表达式中进行多次判断可以将上述条件表达式改造成嵌套的选择结构，可读性倒是提高了，但是简洁性降低了 打开Scala项目，创建包，在包里创建对象 package net.hw.structureimport scala.io.StdInobject Example01 { def main(args: Array[String]
2022-06-12 10:27:21
861
原创 Spark基础学习笔记08：Scala运算符
Scala中运算符即方法、方法即运算符。Scala中运算符其实是普通方法调用的另一种表现形式，运算符的使用其实就是隐含地调用对应的方法。val str = "abcdef"val x1 = str.indexOf('c')val x2 = str indexOf 'c' 与 是等价的val x3 = str.substring(2, 4)val x4 = str substring (2,4) // 如果参数有多个，需要用小括号包起来 与是等价的val x5 = str.toUpperCase
2022-06-12 09:31:27
395
原创 Spark基础学习笔记08：Scala运算符
目录一、运算符等价于方法（一）运算符即方法（二）方法即运算符1、单参方法 2、多参方法3、无参方法 二、Scala运算符（一）运算符分类表（二）Scala与Java运算符比较Scala中运算符即方法、方法即运算符。Scala中运算符其实是普通方法调用的另一种表现形式，运算符的使用其实就是隐含地调用对应的方法。val str = "abcdef"val x1 = str.indexOf('c')val x2 = str indexOf 'c'val x3 = str.substring(2, 4)va
2022-06-10 11:37:48
399
原创 Spark基础学习笔记07：搭建Spark伪分布式环境
执行命令后，一直敲回车，生成节点的公钥和私钥，生成的文件会自动放在目录下，然后我们可以把公钥发往远程机器或本执行命令：执行命令：，再执行命令：下载链接：百度网盘 请输入提取码 提取码：f1lw将Hadoop安装包上传到虚拟机ied的目录 执行命令：执行命令： 与 进入hadoop配置目录，执行命令： export JAVA_HOME=/usr/local/jdk1.8.0_231export HADOOP_HOME=/usr/local/hadoop-2.7.7export HADOOP_CONF_DI
2022-06-10 10:59:15
719
原创 玩一玩Spring容器（可视化笔记02）
从学习角度来说，理解技术问题要越透彻越好，被屏蔽或被封装起来的信息要越少越好。从工程实现角度来说，要尽量高效地使用现成框架和现成工具——这是“学习”和“工程实现”的差别，但这两件事并不矛盾，我们学习得越透彻，在工程实现时，对框架和工具的使用就越高效。网址：https://spring.io 目前（2022-5-27）Spring Framework版本是5.3.20Spring makes programming Java quicker, easier, and safer for everybody.
2022-06-09 12:05:42
200
原创 Spark基础学习笔记06：搭建Spark单机版环境
执行命令：，安装vim编辑器将JDK压缩包上传到ied虚拟机目录执行命令： 执行命令： export JAVA_HOME=/usr/local/jdk1.8.0_162export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar存盘退出，执行命令：，让环境配置生效 在任意目录下都可以查看JDK版本 下载链接：百度网盘 请输入提取码 提取码：zh0x 执行命令： 执行
2022-06-07 10:59:34
496
原创 利用SSM框架实现用户登录功能（可视化03）
目录一、SSM框架（一）SSM为何物（二）Spring框架（三）Spring MVC框架二、用户登录运行效果 三、利用SSM框架实现用户登录1、创建数据库2、创建用户表 3、用户表添加记录（二）创建Maven项目（三）添加相关依赖（四）创建日志属性文件（五）创建数据库配置属性文件（六）给项目添加Web功能（七）配置Tomcat服务器1、安装Tomcat服务器2、启动Tomcat服务 3、访问Tomcat主页 5、项目配置Tomcat服务器（八）创建用户实体类 （九）创建用户映射器接口（十）创建用户服务类（
2022-06-05 10:11:38
4852
原创 虚拟机上面安装配置Scala05
目录（一）到Scala官网下载Scala（二）安装Scala1、登录虚拟机2、上传scala安装包到ied虚拟机3、解压scala安装包到指定目录（三）配置Scala环境变量（四）测试Scala是否安装成功1、查看Scala版本（一）到Scala官网下载ScalaScala2.11.12下载网址：Scala 2.11.12 | The Scala Programming Language单击【scala-2.11.12.tgz】超链接，将scala安装包
2022-05-31 12:18:24
859
原创 安装配置Maven构建工具
一、下载安装Maven下载链接：百度网盘 请输入提取码提取码：hjzs 下载之后，解压缩到指定目录，比如D:\Program Files 二、配置环境变量创建MAVEN_HOME，在Path里添加%MAVEN_HOME%\bin;验证一下Maven环境变量是否配置好，在命令行窗口执行命令：mvn -version，查看Maven的版本及安装位置三、修改Maven配置文件在Maven安装目录的config子目录里可以找到配置文件settings.xml...
2022-05-29 15:25:53
94
原创 Scala集成开发环境04
一、开发环境（一）启动IDEA（二）安装Scala插件先选择搜索插件在上方搜索Scala，单击install单击【Restart IDE】按钮，再次显示欢迎界面（ 三）配置IDEA使用的默认JDK启动IDEA后，选择欢迎界面下方的Configure→Project Defaults→Project Structure在弹出的窗口中选择左侧的Project项，然后单击窗口右侧的New…按钮，选择JDK项，设置项目使用的默认JD....
2022-05-29 14:59:39
81
原创 Spark学习笔记：Scala安装03
一.在Windows上安装Scala（一）.下载ScalaScala2.11.12下载网址：Scala 2.11.12 | The Scala Programming Language选择版本单击【scala-2.11.12.msi】超链接，将scala安装程序下载到本地（二）安装Scala双击安装程序图标，进入安装向导，按提示进行操作，完成Scala的安装（ 三）配置Scala环境变量变量名 变量值 SCALA.....
2022-05-20 09:44:40
1612
原创 可视化学习笔记(实训01）
一、利用ECharts创建网页 第七次人口普查<!DOCTYPE html><html> <head> <title>七次全国人口普查数据</title> <script src="js/echarts.min.js"></script> <script src="js/jquery.min.js"></script> ......
2022-05-17 10:45:09
141
原创 02搭建Spark单机环境2
一、在三台虚拟机上面安装lrzsz1.在master虚拟机上面安装： yum -y install lrzsz（同理，在slave1与slave2一样安装）二、在三台虚拟机上安装配置jdk在master虚拟机上面安装配置jdk上传Java安装包当上传不行的时候 进入vim配置使用解压命令： tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local 生成目录opt使用命令：vim /etc/profi...
2022-03-14 20:12:46
3104
原创 搭建Spark单机环境01
目录（一）通过SecureCRT访问ied虚拟机登录master登录master的密码与账号（root：p@ssw0rd)更改名称查看是否一样（一）通过SecureCRT访问ied虚拟机首先远程连接cm_win7虚拟机安装并解压SecureCRT启动cm_win7虚拟机上的SecureCRT点击设置登录master设置master登录master的密码与账号（root：p@ssw0rd)同理登录slave1与s.....
2022-03-05 15:20:33
1488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人