- 博客(18)
- 收藏
- 关注
RSS订阅原创 5. 后台退出功能开发
return R.error("登录失败[账号已禁用]");// 6. 登录成功，将员工id存入Session并返回登录成功结果。// 返回登录成功结果。return R.error("登录失败[密码错误]");// 3. 如果没有查询到则返回登录失败结果。* 日期：2022年11月03日。
2022-12-22 19:18:43
221
原创 Spark基础学习笔记14：Scala数据结构
零、本讲学习目标掌握数组的使用掌握列表的使用掌握映射的使用掌握集合的使用掌握元组的使用一、数组 (Array)Scala中的数组分为定长数组和变长数组，定长数组初始化后不可对数组长度进行修改，而变长数组则可以修改。（一）定长数组Array的API文档：https://www.scala-lang.org/api/2.11.x/index.html#scala.Array1、数组定义（1）定义数组时初始化数据自动推断数组类型手动指定数据类型（2）定义时指定数组长度，后赋值先定义，
2022-06-21 09:57:29
692
原创 Spark基础学习笔记12：Scala内建控制结构
零、本讲学习目标掌握条件表达式掌握各种循环理解流间变量绑定掌握yield语句的使用掌握异常处理语句了解match语句的使用理解变量作用域Scala提供的控制结构并不算多，因为在函数式编程中，可以自己开发出各种功能的控制结构，所以Scala提供的原生控制结构仅仅够用为止。一、条件表达式（一）语法格式（二）执行情况条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类型，否则就是Any类型（三）案例演示任务1、根据输入值的不同
2022-06-17 15:57:07
131
原创 Spark基础学习笔记13：Scala函数
零、本讲学习目标掌握如何声明函数了解各种类型的函数掌握占位符的使用理解闭包的现象掌握可变参数理解尾递归一、声明函数函数其实是一段具有特定功能的代码的集合，由函数修饰符、函数名、函数参数列表、函数返回值声明与函数体组成。（一）显式声明函数1、声明格式[public | private | protected] def 函数名(参数列表) : 返回值声明 = {函数体}2、注意事项函数通过def关键字定义def前面可以具有修饰符，可以通过private、protected来控制其访问权
2022-06-17 15:28:47
318
原创 Spark基础学习笔记11：Scala运算符
零、本讲学习目标理解Scala运算符与方法的等价性掌握Scala常用运算符理解Scala运算符种类一、运算符等价于方法Scala中运算符即方法、方法即运算符。Scala中运算符其实是普通方法调用的另一种表现形式，运算符的使用其实就是隐含地调用对应的方法。（一）运算符即方法op运算符与.op方法调用是等价的，op表示运算符：+、-、*、/……演示x + y与x.+(y)的等价性（二）方法即运算符1、单参方法3str.indexOf(‘c’) 与 str indexOf ‘c’ 是等价的
2022-06-17 11:30:36
150
原创 Spark基础学习笔记07：搭建Spark HA集群
零、本讲学习目标了解Spark HA集群工作原理掌握搭建Spark HA集群基本步骤能够测试Spark HA集群的高可用性一、搭建Spark HA集群（一）Spark HA集群概述Spark Standalone和大部分Master/Slave模式一样，都存在Master单点故障问题，解决方式是基于ZooKeeper实现两个Master无缝切换，类似HDFS的NameNode HA（High Availability，高可用）或YARN的ResourceManager HA。Spark可以在集
2022-06-17 10:12:09
606
原创 Spark基础学习笔记06：搭建Spark On YARN集群
零、本讲学习目标学会搭建Spark On YARN模式的集群能够将Spark应用程序提交到集群运行一、Spark On YARN架构Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
2022-06-17 09:57:14
1113
原创 Spark基础学习笔记05：搭建Spark Standalone集群
文章目录零、本讲学习目标搭建Spark Standalone模式的集群能够启动Spark Standalone模式的集群学会Spark应用程序的提交Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构Spark Standal
2022-06-17 09:51:51
1076
原创 Spark基础学习笔记04：搭建Spark伪分布式环境
零、本讲学习目标学会搭建Spark伪分布式环境学会启动Spark Shell进行交互式操作学会使用Spark WebUI查看运行状态Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。一、搭建伪分布式Hadoop（一）登录ied虚拟机利用win7虚拟机上的FinalShell登录ied虚拟机本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.1.
2022-06-17 09:21:47
473
原创 Spark基础学习笔记03：搭建Spark单机版环境
文章目录零、本讲学习目标学会搭建Spark单机版环境学会Spark应用程序的运行学会启动Spark Shell初步了解RDD的概念一、搭建Spark单机版环境（一）私有云上创建ied实例创建端口 - ied_port二）连接ied虚拟机演示win7虚拟机通过FinalShell连接ied虚拟机三）修改ied实例主机名执行命令：hostnamectl set-hostname ied重启虚拟机再次连接ied虚拟机四）设置IP地址与主机名映射执行命令：yum -y instal
2022-06-16 11:44:11
278
原创 Spark基础学习笔记10：Scala集成开发环境
文章目录零、本讲学习目标会搭建Scala的Eclipse开发环境会搭建Scala的IntelliJ IDEA开发环境会在两种集成开发环境里创建Scala项目在上一讲《Spark基础学习笔记09：Scala基础》里，我们都是利用Scala Shell交互式环境来学习Scala基础知识，虽然交互式有快捷的优点，但是要写比较完整的程序，编辑就显得极为不便，为了提高开发效率，我们要学会使用Scala的集成开发环境 。有两个优秀的集成开发环境：Eclipse和IntelliJ IDEA。一、搭建Scala
2022-06-15 08:50:27
240
原创 Spark基础学习笔记09：Scala变量与数据类型
文章目录零、本讲学习目标学会变量声明掌握数据类型一、变量声明（一）简单说明Scala中变量的声明使用关键字val和var。val类似Java中的final变量，也就是常量，一旦初始化将不可修改；var类似Java中的非final变量，可以被多次赋值，多次修改。val - value - 值var - variable - 变量（二）利用val声明变量1、声明方式val [: 数据类型] = 变量值定义变量比较灵活，可以指定数据类型，也可以不指定数据类型，由Scala根据赋的...
2022-06-14 19:42:29
278
原创 Spark基础学习笔记08：Scala简介与安装
Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性
2022-06-14 10:33:14
395
原创 大数据实时处理半期总结报告
时光匆匆，飞速而过，转眼间已经临近期末了，这三个多月在华卫老师的教课中学会了大数据实时处理这门课程，华卫老师在课堂期间严谨认真，又不失幽默风趣的讲课方式，让我更喜欢这门课程，课下问问题华老师也在第一时间为我解答。...
2022-05-29 10:14:23
435
1
原创 Hadoop大数据创建
一、登录私有云访问http://192.168.176.250，显示登录页面，输入管理员的用户名和密码登录成功，默认显示“项目 - 计算 - 概览”（一）查看【概览】包括上限摘要和使用情况摘要（二）查看【镜像】单击“项目 - 计算 - 镜像”三）查看【实例】单击“项目 - 计算 - 实例”管理员账号admin登录私有云，目前尚未创建任何实例。二、创建项目、用户与网络（一）创建项目 - huawei单击“身份管理 - 项目”单击【创建项目】，在弹出的对话框里输入名称和描述
2022-02-28 19:32:35
884
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人