2019年11月_pageniao

原创 Hive——Data Managed Language(DML)（一）

Hive中表的概述Hive中的表可分为内部表和外部表，在此基础上对表数据进行细粒度的分割，又有分区表和分桶表，分桶表是比分区表更细粒度的对数据进行分割。内部表：在创建表时，未被external修饰的是内部表（managed table）。hive的表与数据库中的表的概念是相似的，每一个表在HIVE中都有一个相对应的目录，该目录是存储数据的路径，所有表数据（不包括外部表）都保存在这个目录中，...

2019-11-20 21:32:48 162

原创 Hive——Data Defined Language(DDL)

创建数据库create database test02;-- 在创建语句中加入判断语句，否则会报错create database if not exists test02;删除数据库drop database test02;-- 加入判断条件drop database if exists test02;以上方法仅能删除空的数据库，如下例中演示：hive (test01)&...

2019-11-20 11:39:37 157

原创 Hive使用——参数设置

1. 设置显示表头信息默认hive命令行所展示出来的表并不显示字段（表头）信息可以通过下面代码设置：set hive.cli.print.header=true;如下图所示，显示了每列所在数据库及字段信息，但是没有必有显示数据库，显示数据库反而减弱了可读性可以通过下面的代码设置：set hive.resultset.use.unique.column.names=false;...

2019-11-19 21:10:24 774

原创（二）Hive-数据仓库

基本概念1. 什么是数据仓库？数据仓库的目的是什么？数据仓库的目的是构建面向分析的集成化数据环境，为企业提供政策支持。简言之：就是为了重中得到分析性报告和决策支持的。数据仓库本身不生产数据，同时也不消耗数据，数据来源于外部并且开放给外部应用，所以叫作“仓库”，而不叫“工厂”。数据仓库的主要特征它是面向主题的（Sbuject_Oriented）,集成的（Integrated），非易失的（...

2019-11-04 22:43:02 210

原创 Scala语言基础（八）模式匹配

简单的模式匹配匹配值import scala.util.Randomobject MatchTest { def main(args: Array[String]): Unit = { val array = Array(1,2,3,4,5,6) val r = new Random() val index= r.nextInt(array.length) ...

2019-11-03 16:20:59 156

特质（trait）的定义Scala和Java语言一样，使用很强的限制策略，避免了多继承的问题。在Java语言中，只允许继承一个超类，但可以实现多个接口，但Java接口中有其自身的局限性：接口中只能包含抽象方法，不能包含具体方法，包含的字段是常量。Scala语言利用trait解决了该问题，在Scala的trait中，不单可以包含抽象方法还可以包含字段和具体方法。trait Animal01 {...

2019-11-03 13:58:34 191

原创 Scala语言基础（六）抽象类和继承成

抽象类概念抽象类是一种不能被实例化的类，抽象类中包括了若干不能完整定义的方法，这些方法有子类去扩展定义自己的实现。1，如果在父类中，有某些方法不能立即实现，而需要依赖不同子类来覆盖，重写实现自己的不同方法实现，此时可以将父类中的这些方法不给出具体实现，只有方法签名，这种方法就是抽象方法。2，而一个类中如果有一个抽象方法，name类就必须用abstract来声明为抽象方类，此时抽象类是不可以实...

2019-11-03 09:36:37 144

原创 Scala语言基础（五）apply方法

applay内部实现定义一个数组val array1 = Array(1,2,3,4,5,6,7,8,9)由源码可以知道，上面定义的数组调用了apply方法，内部同样也new了一个数组，然后通过迭代将值赋给定义的数组，这样就省去了我们一个一个的为数组赋值了def apply(x: Int, xs: Int*): Array[Int] = { val array = new Arr...

2019-11-03 09:04:27 264

原创 Scala语言基础（四）面向对象（二）单例对象、伴生对象

单例对象、对象的比较1object ObjectTest { def main(args: Array[String]): Unit = { //如果属性和方法定义在object组件中，就可以直接使用类型名称访问 //和java中的static语法一致 println(ObjectTest11.id) println(ObjectTest11.m1(3))...

2019-11-02 22:20:30 235

原创 Scala语言基础（四）面向对象（一）定义类、定义构造器

面向对象重要的两个概念类：相同的事物组成的一个类或裙（抽象概念：描述一类相同的事物）对象：一个类或群体里的单个实体面向对象的四大特征抽象，封装，继承，多态构建实例对象的五种方法：1，调用构造器（公开）2，静态工厂方法（构造器私有）3，反射4，克隆（object.clone()）5，反序列化定义类//伴生类class Student{ /** * 1，在scal...

2019-11-02 17:39:28 535

原创 Scala语言基础（三）练习

（1）打印九九乘法表object MutilTable { def main(args: Array[String]): Unit = { for(i <- 1 to 9){ for(j <- 1 to i){ print(j +"*"+i + "=" + i*j +"\t") } println() } }...

2019-11-02 15:40:32 400

原创 Scala语言基础（二）集合

Scala中的数组Scala中数组按是否定长分为定长数组和变长数组定长数组元素个数确定，只能修改元素，不支持增加删除元素；object ArrayTest01 { def main(args: Array[String]): Unit = { //定义定长数组 val a = new Array[Int](10)//对应Java int[] a = new int[1...

2019-11-02 11:02:18 241

pageniao的博客