小肥柴呀-CSDN博客

原创 05 Spark组件 —— Scala特质

05 Scala 特质定义一个特质使用特质子类型特质 (Traits) 用于在类 (Class)之间共享程序接口 (Interface)和字段 (Fields)。它们类似于Java 8的接口。类和对象 (Objects)可以扩展特质，但是特质不能被实例化，因此特质没有参数。定义一个特质最简化的特质就是关键字trait+标识符： trait HairColor 特征作为泛型类型和抽象方法非常有用。 trait Iterator[A] { def hasNext: Boolean def n

2021-03-10 17:00:47 125

原创 04 Spark组件 —— Scala类

04 Scala 类类定义构造器私有成员和Getter/Setter语法 Scala中的类是用于创建对象的蓝图，其中包含了方法、常量、变量、类型、对象、特质、类，这些统称为成员。类型、对象和特质将在后面的文章中介绍。类定义一个最简的类的定义就是关键字class+标识符，类名首字母应大写。 class User val user1 = new User 关键字new被用于创建类的实例。User由于没有定义任何构造器，因而只有一个不带任何参数的默认构造器。然而，你通常需要一个构造器和类体。下面是类定义的

2021-03-10 16:20:00 96

原创 03 Spark组件 —— Scala统一类型

03 Scala 统一类型Scala类型层次结构类型转换Nothing和Null 在Scala中，所有的值都有类型，包括数值和函数。下图阐述了类型层次结构的一个子集。 Scala类型层次结构 Any是所有类型的超类型，也称为顶级类型。它定义了一些通用的方法如equals、hashCode和toString。Any有两个直接子类：AnyVal和AnyRef。 AnyVal代表值类型。有9个预定义的非空的值类型分别是：Double、Float、Long、Int、Short、Byte、Char、Unit和Bo

2021-03-10 15:39:21 106

原创 02 Spark组件 —— Scala基础

02 Scala 基础在浏览器上尝试Scala表达式常量变量代码块（Blocks）函数方法类样例类对象特质主方法在浏览器上尝试Scala 你可以在浏览器上使用ScalaFiddle运行Scala。打开https://scalafiddle.io；在左侧窗格中粘贴println(“Hello, world!”)；点击”Run”按钮，输出将展现在右侧窗格中。这是一种简单的、零设置的方法来实践Scala的代码片段。这篇文档中的大部分代码示例与 ScalaFiddle 进行了集成，可以通过点击 “Run

2021-03-10 15:03:42 119

原创 01 Spark组件 —— Scala导言

01 Scala 导言欢迎来到Scala之旅Scala是什么？Scala是面向对象的Scala是函数式的Scala是静态类型的Scala是可扩展的Scala的互操作性欢迎来到Scala之旅本次 Scala 之旅教程包含了对于大多数 Scala 特性的简单介绍。主要针对 Scala 这门语言的初学者。这是个简化的教程，如果希望得到完整的话，可以考虑购买书籍或者参考其他资源。 Scala是什么？ Scala是一门现代的多范式语言，志在以简洁、优雅及类型安全的方式来表达常用的编程模型。它平滑地集成了面向对象

2021-03-10 14:38:53 84

原创 Hive基本操作

Hive基本操作1. Hive常用命令1.1 Hive启动1.2 Hive退出1.3 Hive查看历史命令1.4 Hive常用交互命令2. 数据库基本操作2.1 创建数据库2.2 创建数据库并指定hdfs存储位置2.3 删除空数据库2.4 强制删除非空数据库2.5 查看所有数据库2.6 查看数据相关信息2.7 数据库切换2.8 修改数据库3. 数据表基本操作3.1 创建表3.1.1 创建表的方式3.1.2 创建内部表3.1.3 创建外部表3.1.4 内部表和外部表的转换3.2 删除表3.2.1 删除整个表3

2021-02-23 17:20:40 231

原创 HDFS1.0知识点总结

HDFS1.0知识点总结 1. HDFS概述在了解HDFS之前有必要先了解一下Hadoop，Hadoop是一个分析处理大数据，基于Java语言实现的一个开源的分布式的计算框架，用于实现海量数据的分布式计算。而HDFS则是一个Hadoop集群上到了可存储大容量数据的文件系统，为整个Hadoop生态圈提供基础的存储服务。 HDFS是一个主从(Master/Slave)体系架构的文件系统，主要有三个组件组成，分别是NameNode、SecondaryNameNode和DataNode，其作用分别为： Name

2021-02-01 16:54:08 487

qq_43028664的博客