- 博客(13)
- 收藏
- 关注
RSS订阅原创 Hive中自定义函数
Hive中自定义函数一、概述--1. 在hive中有三种自定义函数：1. UDF ：一进一出 --一行变一行2. UDTF : 一进多出 -- 一行变多行3. UDAF ：多进一出 -- 多行变一行-- 2. 实现步骤： a、进入函数的是什么参数 b、希望得到什么结果 c、考虑通用性二、UDTF函数2.1 UDTF解析-- 1. 说明A custom UDTF can be created by extending the GenericUDTF abst
2020-10-13 21:23:55
352
原创 RDD特性理解
RDD特性及其实现特性的方法1.数据来之后需要知道数据应该放在哪个分区，标记数据是哪个分区的 。getpartitions()2.之后需要对数据进行操作，（执行一些计算逻辑）。compute（）3.在操作数据的时候需要对数据进行变换此时就需要shuffle 可能把多个分区变少的分区也有可能由少分区到多的Prtitioner (相当于管理者)来管控这个事控制分区的数据流向。4.而我们RDD是具有弹性的，新的RDD 损坏或出错了 可以由前一个RDD重新计算得到 故而需要记录它是谁的子类是从哪
2020-09-23 14:22:00
233
原创 Linux常用但易忘命令介绍，及MR调优
Linux常用但易忘命令介绍Linux下修改虚拟机静态ip地址vim /etc/sysconfig/network-scripts/ifcfg-ens33添加一个用户并赋予其密码，及给该用户拥有root用户权限useradd flyingpasswd flying 123456加root权限vim /etc/sudoers## Allow root to run any commands anywhereroot ALL=(ALL) ALLflying ALL=(ALL
2020-09-15 20:09:15
195
原创 Scala中权限访问
Scala中权限访问（1）Scala 中属性和方法的默认访问权限为public，但Scala中无public关键字。（2）private为私有权限，只在类的内部和伴生对象中可用。（3）protected为受保护权限，Scala中受保护权限比Java中更严格，同类、子类可以访问，同包无法访问。（4）private[包名]增加包访问权限，包名下的其他类也可以使用package com.keda.daysourceobject AacsseTest {//伴生对象 def main(args:
2020-09-15 20:03:41
744
1
原创 Hadoop常用的调优参数
Hadoop常用的调优参数1**）资源相关参数**（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceT
2020-08-14 18:21:58
104
原创 注解及异常枚举
1、注解/** * 注解 : 是一种特殊的注释, 特殊在于可以被编译器, VM识别. 本质上是一个修饰符, 注解都不能修饰语句. * @Override 作用是提醒编译器, 它修饰的方法是一个覆盖方法, 请帮助我们作检查 , 方法覆盖条件的检查. * 只可以修饰方法. * * @Deprecated 作用是提醒编译器,提醒使用者 它修饰的目标不推荐使用 * 它可以 * 修饰类(TYPE), 属性(FIELD), 构造器(CO
2020-07-12 19:29:56
314
原创 抽象类、接口、内部类
抽象类、接口、内部类1：抽象类理解抽象的设计思想abstract关键字的使用/** * 举例1： * abstract class Account{ * double balance; * * //存钱、取钱的方法 * } * * class SavingAccount extends Account{ * * } * class CheckAccount extends Account{ * * } * * class Customer{
2020-07-10 22:30:57
141
原创 数组详析
数组详析1：数组的理解 * 1. 数组，可以看做是多个相同数据类型类型的变量按照一定顺序依次紧密排列起来的集合。 * * 2.数组的相关概念： * 数组名 * 数组元素 * 数组的长度 * 数组的角标、下标、下角标、索引、index * * 3. 变量按照数据类型来分：基本数据类型、引用数据类型（数组、类、接口） * * >数组，属于引用数据类型；数组的元素，既可以是基本数据类型，也可以是引用数据类型。 * >数组，一旦初始化完成，其长度就是确定的。且长度不可变
2020-07-09 17:43:35
165
原创 单例模式及static关键词的使用
单例模式及static关键词的使用1：static关键字static关键字的使用 * * 1. static：静态的 * 2. 可以用来修饰：属性、方法、内部类、代码块 * * 3. 使用static修饰属性： * * 3.1 回顾变量按照在类中声明的位置来分： * 成员变量（属性）： * 类变量（或静态变量） * 实例变量（或非静态变量） * 局部变量： * 方法内、构造器内、
2020-07-08 19:05:19
307
原创 多态、Object常用类以及包装类
多态、Object常用类以及包装类1：多态的理解开发中多态的常见场景public static void main(String[] args) { Person p1 = new Man(); System.out.println(p1.id);//属性不存在多态性 p1.eat();// p1.earnMoney(); PersonTest test = new PersonTest();
2020-07-07 20:44:52
152
原创 实例化对象过程及多态性解析
实例化对象过程及多态性解析1：子类对象实例化的过程* 1. 从结果上来说：体现为类的继承性* 子类继承父类以后，当创建子类对象时，堆空间中除了会加载子类自己特有的属性之外，还会加载其所有的父类* 中的属性。当权限允许的情况下，子类对象可以调用父类的属性。** 2. 从过程上来看：* 当我们子类构造器创建子类对象时，一定会直接或间接的调用其父类的构造器，乃至于父类的父类的构造器，。。。* 直到调用了java.lang.Object类的构造器。由于我们加载过子类的所有的父类的构造器
2020-07-06 20:22:42
539
原创 方法重载以及值传递机制
方法重载以及值传递机制知识点1：方法的声明* 类中方法的声明测试 * Scanner类的nextInt() \ next() * Math类的random() \ sqrt(double d) * Arrays类的equals(int[] arr1,int[] arr2) \ toString(int[] arr) \ sort(int[] arr) * \ binarySearch(int[] arr,int value) * * 2. 类中方法声明的格式： *
2020-07-04 23:48:37
141
原创 封装性初介绍及递归介绍
递归方法的使用** 1. 递归方法：一个方法体内调用它自身。* 2. 方法递归包含了一种隐式的循环，它会重复执行某段代码，但这种重复执行无须循环控制。* 3. 递归一定要向已知方向递归，否则这种递归就变成了无穷递归，类似于死循环。* 死循环是我们开发中要避免出现的。进而递归方法也必须满足执行的有限性。否则的话，会报StackOverflowError代码演示public class RecursionTest { public static void main(String
2020-07-04 23:09:51
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人