大数据
文章平均质量分 85
Argonaut_
Never Settle
展开
-
第4章 Spark 运行架构(尚硅谷笔记)
Worker 呢,也是进程,一个 Worker 运行在集群中的一台服务器上,由 Master 分配资源对。Spark Executor 是集群中运行在工作节点(Worker)中的一个 JVM 进程,是整个集群中。这里的资源一般指的是工作节点 Executor 的内存大小和使用的虚拟 CPU 核(Core)数。Spark 框架的核心是一个计算引擎,整体来说,它采用了标准 master-slave 的结构。Spark 驱动器节点,用于执行 Spark 任务中的 main 方法,负责实际代码的执行工作。原创 2023-03-13 20:10:46 · 529 阅读 · 2 评论 -
用Spark实现的词频统计
为了能直观地感受 Spark 框架的效果,接下来我们实现一个大数据学科中最常见的教学 案例 WordCount。原创 2023-03-13 18:51:32 · 770 阅读 · 0 评论 -
Scala泛型详解(第十一章:协变和逆变、泛型上下限、上下文限定)
Ordering]之后,方法内无法使用隐式参数名调用隐式参数,需要通过 implicitly[Ordering[A]]def f[A : B](a: A) = println(a) //等同于 def f。Class PersonList[T : Person]{ //泛型下限。class MyList[+T]{ //协变。class MyList[-T]{ //逆变。class MyList[T] //不变。原创 2023-02-22 17:58:24 · 482 阅读 · 2 评论 -
Scala隐式转换详解(第十章:隐式函数、隐式参数、隐式类、隐式解析机制)
在 Scala2.10 后提供了隐式类,可以使用 implicit 声明类,隐式类的非常强大,同样可。普通方法或者函数中的参数可以通过 implicit 关键字声明为隐式参数,调用该方法时,就可以传入该参数,编译器会在相应的作用域寻找符合条件的隐式值。隐式转换可以在不需改任何代码的情况下,扩展某个类的功能。以扩展类的功能,在集合中隐式类会发挥重要的作用。需求:通过隐式转化为 Int 类型增加方法。原创 2023-02-22 17:53:12 · 346 阅读 · 0 评论 -
Scala异常(第九章:java异常处理与Scala异常处理区别)
【代码】Scala异常(第九章:java异常处理与Scala异常处理区别)原创 2023-02-22 17:50:36 · 170 阅读 · 0 评论 -
Scala模式匹配详解(第八章:基本语法、模式守卫、模式匹配类型)(尚硅谷笔记)
➢ val user = User(“zhangsan”,11),该语句在执行时,实际调用的是 User 伴生对象中的。➢ case 中对象的 unapply 方法(提取器)返回 Some,且所有属性均一致,才算匹配成功,该偏函数的输入类型为 List[Int],而我们需要的是第一个元素是 0 的集合,这就是通过模式。要匹配时,会从第一个 case 分支开始,如果匹配成功,那么执行对应的逻辑代码,如果匹。Scala 中,模式匹配可以匹配所有的字面量,包括字符串,字符,数字,布尔值等等。原创 2023-02-22 17:45:12 · 641 阅读 · 0 评论 -
Scala集合详解(第七章:集合、数组、列表、set集合、map集合、元组、队列、并行)(尚硅谷笔记)
1)Scala 的集合有三大类:序列 Seq、集 Set、映射 Map,所有的集合都扩展自 Iterable特质。2)对于几乎所有的集合类,Scala 都同时提供了可变和不可变的版本,分别位于以下两个包不可变集合:scala.collection.immutable可变集合: scala.collection.mutable3)Scala 不可变集合,就是指该集合对象不可修改,每次修改就会返回一个新对象,而不会对原对象进行修改。类似于 java 中的 String 对象。原创 2023-02-22 17:35:04 · 1487 阅读 · 0 评论 -
Scala面向对象详解(第六章:Scala包、类和对象、封装、继承和多态、抽象、单例、特质)(尚硅谷笔记)
1)回顾:Java 中的类如果类是 public 的,则必须和文件名一致。一般,一个.java 有一个 public 类注意:Scala 中没有 public,一个.scala 中可以写多个类。1)基本语法[修饰符] class 类名 {类体说明(1)Scala 语法中,类并不声明为 public,所有这些类都具有公有可见性(即默认就是 public)(2)一个 Scala 源文件可以包含多个类2)案例实操。原创 2023-02-22 17:12:45 · 739 阅读 · 0 评论 -
一篇文章搞懂Spring6框架AOP的(场景模拟、代理模式、相关术语注解与基于XML的AOP详解)尚硅谷笔记
AOP(Aspect Oriented Programming)是一种设计思想,是软件设计领域中的面向切面编程,它是面向对象编程的一种补充和完善,它以通过预编译方式和运行期动态代理方式实现,在不修改源代码的情况下,给程序动态统一添加额外功能的一种技术。利用AOP可以对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度降低,提高程序的可重用性,同时提高了开发的效率。原创 2023-02-22 14:14:14 · 385 阅读 · 0 评论 -
Scala函数式编程(第五章:函数基础、函数高级详解)
1)函数定义(1)函数 1:无参,无返回值(2)函数 2:无参,有返回值(3)函数 3:有参,无返回值(4)函数 4:有参,有返回值(5)函数 5:多参,无返回值(6)函数 6:多参,有返回值2)案例实操// 函数 1:无参,无返回值 def test1() : Unit = {println("无参,无返回值") } test1() // 函数 2:无参,有返回值 def test2() : String = {原创 2023-02-22 11:49:04 · 456 阅读 · 0 评论 -
Scala流程控制(第四章:分支控制、嵌套分支、switch分支、for循环控制全、while与do~while、多重与中断)
荐使用函数式的风格解决break和continue的功能,而不是一个关键字。Scala 也为 for 循环这一常见的控制结构提供了非常多的特性,这些 for 循环的特性被称。需求:如果输入的年龄小于 18,返回“童年”。如果其他,返回“老年”。在一个分支结构中又完整的嵌套了另一个完整的分支结构,里面的分支的结构称为内层。需求:输入年龄,如果年龄小于 18 岁,则输出“童年”。需求:输入人的年龄,如果该同志的年龄小于 18 岁,则输出“童年”需求:将原数据中所有值乘以 2,并把数据返回到一个新的集合中。原创 2023-02-22 10:57:21 · 505 阅读 · 0 评论 -
Scala的运算符(算术、关系、逻辑、赋值、位、本质)(第三章)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档。原创 2023-02-22 10:04:09 · 496 阅读 · 1 评论 -
一篇文章带你搞懂spring6的概念、spring入门与容器IoC详解(尚硅谷笔记)
广义的 Spring:Spring 技术栈狭义的 Spring:Spring Framework非侵入式:使用 Spring Framework 开发应用程序时,Spring 对应用程序本身的结构影响非常小。对领域模型可以做到零污染;对功能性组件也只需要使用几个简单的注解进行标记,完全不会破坏原有结构,反而能将组件结构进一步简化。这就使得基于 Spring Framework 开发应用程序时结构清晰、简洁优雅。控制反转:IoC——Inversion of Control,翻转资源获取方向。把自己创建资源、向原创 2023-02-21 10:56:18 · 3968 阅读 · 5 评论 -
Scala 变量和数据类型(第二章)
Java引用类型:(对象类型)由于Java有基本类型,而且基本类型不是真正意义的对象,即使后面产生了基本类型的包装类,但是仍然存在基本数据类型,所以Java语言并不是真正意思的面向对象。(3)Nothing,可以作为没有正常返回值的方法的返回类型,非常直观的告诉你这个方法不会正常返回,而且由于 Nothing 是其他任意类型的子类,他还能跟要求返回值的方法兼容。7)Nothing,是所有数据类型的子类,主要用在一个函数没有明确返回值时使用,因为这样我们可以把抛出的返回值,返回给任何的变量或者函数。原创 2023-02-15 17:39:25 · 365 阅读 · 0 评论 -
Scala 入门(第一章Scala 环境搭建、插件的安装)
1.Spark—新一代内存级大数据计算框架,是大数据的重要内容。2.Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。3. Spark的兴起,带动Scala语言的发展!原创 2023-02-15 17:07:54 · 728 阅读 · 0 评论 -
初探Spring采用Spring配置文件管理Bean
Spring容器其实就是一个Bean工厂,在工厂里通过配置文件或配置类创建各种各样的Bean,然后在Spring应用程序就可以按照名称或类型获取工厂里已经配置好的Bean。初始化对象其实可以调用有参构造方法来设置属性的初始值,对应到Spring的Bean工厂,就还有一种注入方式,叫做构造方法注入。基于一个类可以创建多个对象,因此,在spring-config.xml文件里,也可以基于同一个类创建多个Bean。在net.argonaut.spring.day01包里创建BraveKnight类。原创 2023-02-14 23:08:38 · 355 阅读 · 0 评论