- 博客(14)
- 收藏
- 关注
原创 Scala方法定义方式
方法定义定义方法的基本格式是:def 方法名称(参数列表):返回值 = 方法体 方式1:标准形式def add(a:Int,b:Int):Int={ var sum=a+b return sum}解析:(1)def 为Scala中定义函数的标识符;(2)a:Int 其中a为传入函数的形参值,Int为数据类型;注:Scal...
2018-10-29 11:33:24
2691
原创 Scala变量修饰符
Scala对每个成员变量都提供getter和setter方法,getter和setter分别叫做XXX和XXX_=1.var修饰成员变量例:定义Person类,类中只含有一个成员变量username,如下图:var修饰的成员变量,Scala会提供默认的getter和setter方法,调用方式如下:(1)getter方式---对象.成员变量名取值时调用了方法usernam...
2018-10-29 11:33:15
651
原创 Scala构造器
在Scala中构造器分为两种,分别称为主构造器和辅助构造器。1.主构造器(1)常规形式Scala主构造函数基本形式如上图所示。创建对象时必须将初始值传入主构造器。这是Person类中的两个成员变量被赋初值。(2)主构造器传入参数无修饰符当传入的参数没有修饰符时,传入的参数不会形成实际的字段,不可以被调用,否则会报错,该参数不是该类的成员,如下:这种情...
2018-10-29 11:33:09
501
原创 Scala 抽象类 抽象方法 抽象字段
1.抽象类如果父类中的方法不能立即实现,需要依赖其他子类进行覆盖实现则可以将类定义为抽象类。抽象类的写法:abstract class 类名{XXXX...}注:1.包含抽象成员的类必须声明为抽象类。2.抽象类不能创建对象,即不能实例化。 2.抽象方法一个方法只要没有实现,即没有等号或者方法体,那么它就是抽象方法。子类覆盖抽象类方法不需要写o...
2018-10-29 11:33:01
1516
原创 Hive安装与配置(Linux)
1.说明(1)安装Hive之前必须配置好hadoop环境;(2)安装Hive之前必须配置好JDK;(3)本文建议安装mysql数据库·;(4)Hive可以只安装在namenode所在的机器上,如果NameNode有多个,则每个都需要安装,可以不在datanode上安装。(5)本文hadoop的运行采用伪分布式;(6)本文中的所有目录(路径)均为本人自定义,访客可根据自己的需...
2018-10-29 11:32:49
5755
2
原创 Linux 集群搭建
1.Linux虚拟机系统安装NAT模式 注意网关配置要与虚拟机的网关配置保持一致(编辑-->虚拟网络编辑器) 可...
2018-10-29 11:32:27
427
原创 Linux配置本地yum源
1.加载Linux的本地镜像文件将镜像挂载到指定文件mount -o loop /dev/cdrom /media/cdrom2.创建保存yum源数据的目录3.将yum源中的数据拷贝到该目录4.查看本地yum源数据5.进入yum配置文件目录 6.创建bak文件夹,将除了Centos-Media.repo文件的余下文件剪切到bak文件夹7....
2018-10-29 11:31:47
207
原创 HDFS 常用shell命令
1.shell基本格式(1)针对HDFS的shell格式例:hadoop fs -ls hdfs://namenode:host/parent/child也可以省略hdfs://namenode:hosthadoop fs -ls /parent/child(2)针对本地文件系统的shell格式注:本地文件系统指的是客户端所在的系统。hadoop fs -ls fi...
2018-10-29 11:31:20
1219
原创 HDFS数据流-----文件写入
HDFS数据上传大体分为两个阶段,第一阶段是客户端与NameNode交互阶段,第二阶段是客户端与DataNode交互阶段。1.客户端与NameNode交互阶段 流程如下:假设客户端要上传的文件为A.log(文件大小大于128M),目标目录/log(1)客户端向NameNode请求上传文件;(2)NameNode查看自己的目录和文件的属性信息,判断是否是重复目录或文件;(...
2018-10-29 11:30:57
469
原创 Hive访问方式
Hive的访问方式主要分为两种,一种是本地模式,通常用于单机测试,另一种是远程连接模式,比较常用。本文前提:1.本文使用的软件版本为:hadoop2.7.4hive1.2.1jdk1.82.运行hive之前保证jdk与hadoop配置完毕,并且启动HDFS和Yarn。1.本地模式在hive安装路径bin目录下,直接运行hive脚本,即可进入本地模式,如下图所示:...
2018-10-29 11:30:26
5363
原创 MapReduce执行流程解析
本文基于hadoop2.x,以wordcount为例解析MapReduce执行流程。注:假设HDFS中有两个文件。分别为1.txt(150M),2.txt(100M)1.Map阶段步骤:(1)hadoop扫描指定路径下的所有文件,本文指的是1.txt和2.txt,并将其进行逻辑切片(也可称为逻辑规划),每个切片被称为split。通常切片大小与block大小保持一致。本文中两个文件将...
2018-10-29 11:29:42
1060
原创 IDEA编译GibHub项目并装载至本地Maven库
1.下载GitHub上的项目到本地并解压2.用IDEA导入工程3.提前在IDEA上安装好maven,编译导入的工程4.对工程进行打包5.查看工程下target目录下生成的jar包6.将jar包安装到maven库7.查看本地maven库8.可以在其他工程中引入该jar包...
2018-10-29 11:28:20
271
原创 IDEA搭建SSM项目
在main下面创建java和rescources文件夹将java文件夹设置为Sources Root将resources文件夹设置为Resources Root <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.o...
2018-10-29 11:27:57
390
原创 Spark2.x源码分析---spark-submit提交流程
本文以spark on yarn的yarn-cluster模式进行源码解析,如有不妥之处,欢迎吐槽。步骤1.spark-submit提交任务脚本spark-submit --class 主类路径 \--master yarn \--deploy-mode cluster \--driver-memory 申请driver内存 \--executor-memory 申请每个exec...
2018-10-29 11:27:33
638
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人