Scala方法定义方式

  方法定义 定义方法的基本格式是: def 方法名称(参数列表):返回值 = 方法体       方式1:标准形式 def add(a:Int,b:Int):Int={     var sum=a+b     return sum } 解析: (1)def 为Scala...

2018-10-29 11:33:24

阅读数 185

评论数 0

Scala变量修饰符

Scala对每个成员变量都提供getter和setter方法,getter和setter分别叫做XXX和XXX_= 1.var修饰成员变量 例:定义Person类,类中只含有一个成员变量username,如下图: var修饰的成员变量,Scala会提供默认的getter和setter方法...

2018-10-29 11:33:15

阅读数 178

评论数 0

Scala构造器

在Scala中构造器分为两种,分别称为主构造器和辅助构造器。 1.主构造器 (1)常规形式 Scala主构造函数基本形式如上图所示。 创建对象时必须将初始值传入主构造器。 这是Person类中的两个成员变量被赋初值。 (2)主构造器传入参数无修饰符 当传入的参数没有修饰符...

2018-10-29 11:33:09

阅读数 109

评论数 0

Scala 抽象类 抽象方法 抽象字段

1.抽象类 如果父类中的方法不能立即实现,需要依赖其他子类进行覆盖实现则可以将类定义为抽象类。 抽象类的写法: abstract class 类名{ XXXX... } 注: 1.包含抽象成员的类必须声明为抽象类。 2.抽象类不能创建对象,即不能实例化。   2.抽象方法 ...

2018-10-29 11:33:01

阅读数 342

评论数 0

Hive安装与配置(Linux)

1.说明 (1)安装Hive之前必须配置好hadoop环境; (2)安装Hive之前必须配置好JDK; (3)本文建议安装mysql数据库·; (4)Hive可以只安装在namenode所在的机器上,如果NameNode有多个,则每个都需要安装,可以不在datanode上安装。 (5)本...

2018-10-29 11:32:49

阅读数 483

评论数 0

Linux 集群搭建

1.Linux虚拟机系统安装 NAT模式                                                 注意网关...

2018-10-29 11:32:27

阅读数 66

评论数 0

Linux配置本地yum源

1.加载Linux的本地镜像文件 将镜像挂载到指定文件 mount -o loop /dev/cdrom /media/cdrom 2.创建保存yum源数据的目录 3.将yum源中的数据拷贝到该目录 4.查看本地yum源数据 5.进入yum配置文件目录   6....

2018-10-29 11:31:47

阅读数 65

评论数 0

HDFS 常用shell命令

1.shell基本格式 (1)针对HDFS的shell格式 例: hadoop fs -ls hdfs://namenode:host/parent/child 也可以省略hdfs://namenode:host hadoop fs -ls /parent/child (2)针对本地文...

2018-10-29 11:31:20

阅读数 212

评论数 0

HDFS数据流-----文件写入

HDFS数据上传大体分为两个阶段,第一阶段是客户端与NameNode交互阶段,第二阶段是客户端与DataNode交互阶段。 1.客户端与NameNode交互阶段   流程如下: 假设客户端要上传的文件为A.log(文件大小大于128M),目标目录/log (1)客户端向NameNode请...

2018-10-29 11:30:57

阅读数 166

评论数 0

Hive访问方式

Hive的访问方式主要分为两种,一种是本地模式,通常用于单机测试,另一种是远程连接模式,比较常用。 本文前提: 1.本文使用的软件版本为: hadoop2.7.4 hive1.2.1 jdk1.8 2.运行hive之前保证jdk与hadoop配置完毕,并且启动HDFS和Yarn。 1...

2018-10-29 11:30:26

阅读数 625

评论数 0

MapReduce执行流程解析

本文基于hadoop2.x,以wordcount为例解析MapReduce执行流程。 注:假设HDFS中有两个文件。分别为1.txt(150M),2.txt(100M) 1.Map阶段 步骤: (1)hadoop扫描指定路径下的所有文件,本文指的是1.txt和2.txt,并将其进行逻辑切片...

2018-10-29 11:29:42

阅读数 155

评论数 0

IDEA编译GibHub项目并装载至本地Maven库

1.下载GitHub上的项目到本地并解压 2.用IDEA导入工程 3.提前在IDEA上安装好maven,编译导入的工程 4.对工程进行打包 5.查看工程下target目录下生成的jar包 6.将jar包安装到maven库 7.查看本地maven库 8.可以...

2018-10-29 11:28:20

阅读数 51

评论数 0

IDEA搭建SSM项目

        在main下面创建java和rescources文件夹 将java文件夹设置为Sources Root 将resources文件夹设置为Resources Root <project xmlns=&am...

2018-10-29 11:27:57

阅读数 92

评论数 0

Spark2.x源码分析---spark-submit提交流程

本文以spark on yarn的yarn-cluster模式进行源码解析,如有不妥之处,欢迎吐槽。 步骤1.spark-submit提交任务脚本 spark-submit  --class 主类路径 \ --master yarn \ --deploy-mode cluster \ --dr...

2018-10-29 11:27:33

阅读数 241

评论数 1

提示
确定要删除当前文章?
取消 删除