- 博客(31)
- 收藏
- 关注
RSS订阅原创 4.后台登录功能开发
参看博文《mybatis-plus常用注解(https://blog.csdn.net/m0_61682705/article/details/125348601)》参看博文《lombok的@Data注解(https://blog.csdn.net/qq_39900031/article/details/126376871)》无论明文多长，采用sha1加密之后的密文都是40位定长字符串；无论明文多长，采用md5加密之后的密文都是32位定长字符串；无论明文多长，采用md5加密之后的密文都是32位定长字符串；
2022-12-17 16:41:56
296
原创 3.开发环境搭建
创建完项目之后，我们应该检查项目编码、maven仓库配置以及jdk配置。（6）对信息模型进行集成与优化（检查和消除命名不一致、结构不一致等）（5）确定实体集属性（属性描述一个实体集的特征或性质）检查IntelliJ IDEA里maven仓库的配置。（2）定义实体集（自底向上标识和定义实体集）（1）明确建模目标（模型覆盖范围）（4）建立信息模型（构造ER模型）检验maven环境变量是否配置成功。在maven配置文件添加阿里镜像源。（3）定义联系（实体间关联关系）配置maven的环境变量。
2022-12-17 15:44:31
180
原创 音乐小程序项目
如今微信小程序已经成为我们日常生活中不可或缺的‘介质’，如我们的出行、购物、餐饮、社交、娱乐等活动的小程序已经因有尽有，相比于去安装一个app人们自然更加倾向于在微信中去直接访问某个小程序，而且我们的小程序极为方便的为用户提供服务；// 播放列表数据id: 1,title: '钢琴协奏曲',singer: '肖邦',}, {id: 2,title: '奏鸣曲',singer: '莫扎特',}, {id: 3,title: '欢乐颂',singer: '贝多芬',}, {
2022-12-09 14:10:06
2576
原创 项目实训：瑞吉外卖
● 概念设计是数据库设计的核心环节。通过对用户需求进行综合、归纳与抽象，形成一个独立于具体DBMS的概念模型。（1）明确建模目标（模型覆盖范围）（2）定义实体集（自底向上标识和定义实体集）（3）定义联系（实体间关联关系）（4）建立信息模型（构造ER模型）（5）确定实体集属性（属性描述一个实体集的特征或性质）（6）对信息模型进行集成与优化（检查和消除命名不一致、结构不一致等）● 概念设计目前采用最广泛的是ER建模方法。将现实世界抽象为具有属性的实体及联系。1976年，Peter.Chen提出Ｅ-
2022-12-08 08:41:16
2025
原创 SparkRDD案例：分组排行榜z
学生数据：张三丰 90李孟达 85张三丰 87王晓云 93李孟达 65张三丰 76王晓云 78李孟达 60张三丰 94王晓云 97李孟达 88张三丰 80王晓云 88李孟达 82王晓云 98预备工作：启动集群的HDFS与Spark将成绩文件-grades.txt上传到HDFS上/input目录2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果......
2022-06-23 17:38:18
128
原创 玩 Spring框架
1.Spring makes Java productive.2.Spring makes Java reactive.3.Spring makes Java cloud-ready.4.Spring makes Java simple.5.Spring makes Java modern.打开Maven窗口，刷新按钮，开始下载依赖包（三）创建杀龙任务类创建net.py.spring.day01包，然后在包里面创建SlayDragonQuest类（四）创建勇敢骑士类在net
2022-06-23 17:21:17
70
原创 Spark基础学习笔记22：Spark RDD案例分析
（一）案例概述单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。（二）实现步骤1、新建Maven管理的Spark项目在IDEA中选择File→new→Project…，在弹出的窗口中选择左侧的Maven项，然后在右侧
2022-06-23 16:53:46
430
原创 利用SSM框架实现用户登录功能
执行命令：CREATE DATABASE ssmdb CHARSET=‘utf8mb4’;查看创建的数据表执行SQL命令生成用户表3、用户表添加记录执行SQL命令添加4条记录（二）、创建Maven项目创建Maven项目 - SSMLogin设置项目命令、项目位置、组ID和项目ID（三）添加相关依赖在pom.xml文件里添加相关依赖打开Maven窗口，单击刷新按钮，下载依赖依赖下载成功(五）创建数据库配置属性文件在resources目录里创建jd
2022-06-20 10:33:45
2018
原创 Spark RDD案例：词频统计
新建Maven项目，基于JDK1.8设置项目信息（项目名称、保存位置、组编号以及项目编号）单击【Finish】按钮将java目录改成scala目录由于源程序目录改成了scala，在元素里必须添加子元素，指定目录src/main/scala（三）创建日志属性文件在资源文件夹里创建日指数型文件 - log4j.properties（四）创建词频统计单例对象在net.huawei.rdd包里创建WordCount单例对象（五）本地运行程序，查看结果首先看控制台输出结
2022-06-19 11:46:36
657
原创 搭建Spark On YARN集群
Spark OnYARN的client提交方式提交应用程序后的主要进程有：SparkSubmit、ResourceManager、NodeManager、CoarseGrainedExecutorBackend、ExecutorLauncher，运行架构如下图所示：与Standalone模式的client提交方式类似，客户端会产生一个名为SparkSubmit的进程，Driver程序则运行于该进程中，且ResourceManager的功能类似于Standalone模式的Master；NodeManage
2022-06-19 11:43:05
217
原创 创建RDD
1.了解RDD的概念2.掌握RDD的创建方式在/home目录里创建test.txt单词用空格分隔将test.txt上传到HDFS的/park目录里查看文件内容如果以 spark-shell --masterspark://master:7077方式启动spark-shell，只能读取HDFS系统上的文件，不能读取本地系统文件，而以spark-shell–master=local[*]方式启动spark-shell，既可以读取本地系统文件，加不加file://都可以，还可以访问HDFS系统上的文
2022-06-19 10:52:00
586
原创 2022学期总结
时间过得快，一学期就这样进入了尾声，学习Spark也一学期了，收获了很多，也学会了很多，在现在这个网络时代，数据清洗数据处理是比较重要的，在学习期间不断的出现很多问题，每次遇到问题的时候，自己先解决，解决不到再求助同学和老师，学习过程中就要不断的出现问题不断的解决问题，这样才会得到成长，得到锻炼，这样才会再困难中学习。听华卫老师讲一学期的课了，华卫老师讲课是很精彩，每节课都讲的很好，不仅教会我们学习大数据这门课，还教会我们要多学习专业以外的课程比如：英语，华老师上课就是中英文结合的，方式很独特，中英文结合
2022-06-18 11:26:41
361
原创 Scala数据结构2
定义指定长度的元组，其中Tuple3是一个元组类，代表元组长度为3目前，Scala支持的元组最大长度为22，即可以使用Tuple1到Tuple22。元组的实际类型取决于元素数量和元素的类型。使用方法_1、_2、_3访问元组的元素，与数组和字符串的位置不同，元组的元素下标从1开始。访问元组的3个元素访问元组的第6个元素（不存在的元素），报错直接用for循环遍历元素是不行的使用元组的productIterator()方法产生全部元素构成的迭代器，然后遍历迭代器使用for循环遍历元组生成迭代器使用T
2022-06-18 10:19:08
75
原创 Scala数据结构1
1.掌握数组的使用2.掌握列表的使用3.掌握映射的使用4.掌握集合的使用5.掌握元组的使用（1）定义数组时初始化数据自动推断数组类型手动指定数据类型（2）定义时指定数组长度，后赋值先定义，后赋值避免数组下标越界错误定义数组arr（自动推断类型，静态初始化）可以使用for循环对数组进行遍历，输出数组所有的元素（1）传统for循环方式通过数组下标来遍历数组元素大家可以看到，反向遍历没有输出结果，怎么解决这个问题？通过(arr.length - 1 to 0) by -1实现反向遍历说
2022-06-17 23:02:19
94
原创 Scala内建控制结构
（二）执行情况条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类型，否则就是Any类型（三）案例演示任务1、根据输入值的不同进行判断当然也可以在一个表达式中进行多次判断可以将上述条件表达式改造成嵌套的选择结构，可读性倒是提高了，但是简洁性降低了语句块最后一句的值就是整个块表达式的结果语句块最后一句没有执行结果，那么块表达式结果就是Unit1、语法格式2、执行情况表示将集合或数组中的每一个值循环赋给一个变量3、案例演示任
2022-06-17 16:39:55
77
原创 Scala运算符
str.indexOf(‘c’) 与 str indexOf ‘c’ 是等价的str.substring(2, 4) 与str substring (2, 4)是等价的3、无参方法运算符在唯一的操作数之前 ：-1、+3、 ~0xFF、!false-1等同于1.unary_-，前缀运算符如同中缀运算符一样，也是方法调用的另一种方式，不同的是，方法名要在符号前加上前缀unary_ 。能作为前缀运算符的运算符只有+、-、!、~四种。如果你自己定义了unary_!方法就可以使用!前缀运算符来调用
2022-06-17 10:56:35
70
原创 Spark SQL案例：计算平均分
1 张三丰 672 李孟达 783 唐雨涵 894 王晓云 755 张晓琳 936 佟湘玉 707 杨文达 878 陈燕文 901 张三丰 882 李孟达 933 唐雨涵 974 王晓云 875 张晓琳 796 佟湘玉 897 杨文达 938 陈燕文 951 张三丰 81.332 李孟达 88.673 唐雨涵 92.674 王晓云 85.005 张晓琳 86.676 佟湘玉 82.337 杨文达 82.008 陈燕文 94.33``...
2022-06-17 09:50:55
465
原创 Scala变量与数据类型
1.学会变量声明2.掌握数据类型定义一个类型为List[Any]的变量list，list中包括字符串、整数、字符、布尔值和函数，由于这些元素都属于对象Any的实例，因此可以将它们添加到list中。1） String在java.lang包下，其余类型在scala包下，由于Scala会自动导入java.lang和scala包，因此这些类型可以在程序中直接使用。（2）其实scala中并没有真正意义上的基本类型（如Java的基本类型)，以上十种基本类型都是类。（3）在Scala中，基本数据类型与其它类的区别
2022-06-16 20:20:48
1072
1
原创 搭建Spark Standalone集群
1.搭建Spark Standalone模式的集群2.能够启动Spark Standalone模式的集群3.学会Spark应用程序的提交SparkStandalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用–deploy-mode参数
2022-06-16 17:44:32
839
原创 Spark基础学习笔记02：Spark运行时架构
1.了解Spark架构2.了解Spark原理1、ResourceManager - 资源管理器资源管理器以后台进程的形式运行，负责对集群资源进行统一管理和任务调度。主要要职责：接收来自客户端的请求；启动和管理各个应用程序的ApplicationMaster；接收来自ApplicationMaster的资源申请，并为其分配Container；管理NodeManager，接收来自NodeManager的资源和节点健康情况汇报。2、NodeManager - 节点管理器集群中每个节点上的资源和任务管理器，以后
2022-06-15 18:48:11
137
1
原创 Spark基础学习笔记01：初步了解Spark
@文章目录1.了解Spark发展史2.了解Spark的特点3.了解Spark存储层次4.了解Spark生态圈5.了解Spark应用场景对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利大学的研究性项目。它于2010年正式开源，并于2013年成为了Aparch基金项目，并于2014年成为Aparch基金的顶级项目，整个过程不到五年时间。Spark目前最新版本是2022年1月2
2022-06-14 20:04:44
333
原创 集群搭建预备操作：在私有云上创建与配置虚拟机
单击“项目 - 网络 - 网络”单击【创建网络】按钮，输入网络名称 - test单击【下一项】，输入子网名称与网络地址单击【下一项】，分配地址池和配置DNS服务器默认网关是192.168.2.1，地址池范围从192.168.2.2到192.168.2.253单击【创建】按钮单击“项目 - 网络 - 路由”单击【新建路由】按钮，输入路由名称，设置外部网络单击【新建路由】按钮单击【test_router】超链接单击【接口】选项卡单击【增加接口】按钮，选择test子网单击【提交】按钮单击“项
2022-06-14 11:36:03
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人