自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 资源 (15)
  • 问答 (3)
  • 收藏
  • 关注

原创 SparkSQL数据倾斜优化

转载sparksql数据倾斜处理方式

2021-10-23 18:30:07 176

原创 spark性能优化面试题

转载spark性能优化

2021-10-23 18:27:44 637

原创 scala汇总简笔

做自己喜欢的事情才会更持久哦时间在哪里成就就在哪里——开始学习scala 对象创建var name:String=_val:常量没有set方法var:全局变量有get和set方法scala的set方法格式:对象.属性_=(值)@BeanProperty 修饰变量——import scala.beans.BeanProperty构造器Scala有两种主构造器:1. 在类名后面,与类交织在一起2. val修饰升级为属性3. 括号前面private修饰调用必须是本类

2021-08-05 21:38:49 114

原创 Hadoop架构基础知识面试题

1.yarn的调度器有三种(了解):容量调度器:Capacity Scheduler:配置多个队列,同时运行先提交的大任务和后提交的小任务公平调度器:Fair Scheduler:两个任务公平的共享集群资源,不浪费资源;先进先出调度器:FIFO Scheduler:按照任务的提交顺序,先提交的任务优先满足其资源需求2.Flume简介:(了解)Flume是Cloudera公司的产品,后期捐给Apache进行重构成为顶级项目Flume 0.9X版本的统称Flume OG ,Flume1.X版本的统

2021-07-29 01:00:11 322

原创 phoinex

Phoenix中创建表,默认使用了大量的协处理器提供标准的SQL以及完备的ACID事务支持,让hbase这种nosql的数据库具有增删改的操作确定scan的key的最佳startKey和endKey编排scan的并行执行Phoenix不会影响HBase性能,反而会提升HBase性能 行键加盐保证分配均匀,负载均衡web节点:16010常见问题:建标时必须加主键 id后面加 primary key建标时给主键加了列蔟,移除主键上的列蔟大小写问题:列蔟和列名没有双引号,自动转

2021-07-28 20:56:37 114

原创 linux

linux历史创始人1991年:芬兰大学大三学生Linus Torvalds(林纳斯•托瓦兹)公开内核:kernel组成Minix的编程思想GNU组件kernel内核特点开源 开源可以不断完善代码功能,并提高系统性能和安全性免费 可以扩大操作系统的影响力安全 Linux有严格的权限管理稳定 Linux开发时吸取了Unix多年的经验,以及开源能使更多人参与漏洞的处理多用户 一个Linux系统可以同时被多个不同用户使用,每个用户对自己的资源(例如:文件、设备)有特定的权限,互不

2021-07-22 23:26:28 217

原创 Flume高阶

(一)拦截器拦截器(interceptor 英 /ˌɪntəˈseptə®/):定义在source中作用:用户Source读取,从Event发送到Sink的时候,可在eventheader中加入有用的信息,或者对数据过滤清洗;支持链式调用;可以修改或者丢弃事件;1.时间戳拦截器配置范例:a1.sources = r1a1.channels = c1a1.sources.r1.channels = c1a1.sources.r1.type = seqa1.sou

2021-07-22 00:14:43 249 1

原创 Flume

1. Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。基于流式架构。Flume支持定制各类数据发送方,用于收集各类型的数据;同时支持各种数据接受方,用于最终存储数据。 一般的采集需求通过对Flume的简单配置即可实现,针对特殊场景也具备良好的自定义扩展功能。因此Flume可以适用于大部分的日常采集场景。Flume目前有两个版本。0.9X和1.X。Flume 0.9X版本的统称Flume OGFlume1.X版本的统

2021-07-20 22:08:15 363 2

原创 HBase从基础认识到高级应用

HBaseHBase具有以下特点:数据库NoSQL不支持标准SQL基于Google BigTable论文设计建立在HDFS之上分布式文件系统基于内存横向扩展,添加廉价机器就可以提高性能查找速度快,可扩展性强,更容易进行分布式扩展主要用来存储结构化和半结构化的松散数据Hbase中支持的数据类型:byte[]不支持复杂操作,功能相对局限(可优化)仅支持单行事务仅能通过主键(row key)和主键的range来检索数据HBase(Hadoop Dat

2021-07-19 11:07:39 143

原创 JavaSE笔试和答辩题目详解(二)

final、finally、finalize 的区别?final:用于声明属性、方法和类,分别表示属性不可变、方法不可覆盖、被其修饰的类不可继承; finally:异常处理语句结构的一部分,表示总是执行;finallize:Object类的一个方法,在垃圾回收时会调用被回收对象的finalize异常处理的概念?Java的异常机制的运用可以避免程序因为异常而运行终止或流程发生意外的改变。异常分为哪几类?异常分为三类:检查性异常,运行时期异常和错误。编译时期异常必须在编写程序时抛出,否则编译无法通

2021-06-11 01:58:38 202

原创 JavaSE笔试和答辩题目详解

第一章 开发工具安装Java 语言有哪些版本,每个版本的功能是什么?JavaSE --Java技术的核心和基础,J2EE和J2ME的编程基础JavaEE – 企业应用版本JavaME – 移动端和嵌入设备的版本JDK的版本有哪些?为了开发方便,我们想在任意的目录下都可以使用JDK的开发工具,则必须要配置环境变量,JDK环境变量怎么配置?Windows7,8计算机–右键–属性–高级设置–环境变量–新建–(变量名输入JAVA_HOME,变量值输入JDK9的安装目录 c:\Java9\

2021-06-07 13:47:53 508

翻译 Java网络编程 TCP和UDP知识详解

网络编程1.1软件架构C/S结构 :全称为Client/Server结构,是指客户端和服务器结构。常见程序有QQ、迅雷等软件。B/S结构 :全称为Browser/Server结构,是指浏览器和服务器结构。常见浏览器有谷歌、火狐等。两种架构各有优势,但是无论哪种架构,都离不开网络的支持。网络编程,就是在一定的协议下,实现两台计算机的通信的程序。1.2 网络通信协议**网络通信协议:**通信协议是对计算机必须遵守的规则,只有遵守这些规则,计算机之间才能进行通信。这就好比在道路中行驶的

2021-05-31 22:55:15 748 1

原创 Lambda表达式

生命日历<一个格子代表一周,寿命按90岁来算,一生有这么多的格子>为了让自己的拖延症能够得到控制,做个生命日历一起提示自己吧 -QAQ-Lambda表达式函数式编程思想函数就是有输入量、输出量的一套计算方案,也就是“拿什么东西做什么事情”。相对而言,面向对象过分强调“必须通过对象的形式来做事情”,而函数式思想则尽量忽略面向对象的复杂语法——强调做什么,而不是以什么形式做。冗余的Runnable代码举例我们需要一个线程去完成任务://面向对象思想Runnable task =

2021-05-31 09:08:42 277

原创 单元测试简要

单元测试的一般准则:软件单元功能与设计需求一致。软件单元接口与设计需求一致。能够正确处理输入和运行中的错误。在单元测试中发现的错误已经得到修改并且通过了测试。达成了相关的覆盖率的要求。 完成软件单元测试报告。软件测试分类:​ 黑盒测试​ 白盒测试黑盒测试:测试工程师黑盒测试又称功能测试,主要检测每个功能是否都能正常使用。在测试中,把程序看作一个不能打开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,进行测试,主要针对软件界面和软件功能进行测试。白盒测试:开发工程师白

2021-05-28 11:27:30 85 2

原创 Java反射基础知识详解

反射反射要先了解class类的加载机制编写好的Java文件最终怎么交给JVM虚拟机运行?当一个class文件被加载进内存时,在JVM中将形成一份描述该class文件结构的元信息对象Class,通过元信息对象创建各种对象进行识别运行.JVM怎么样对文件进行解析变成它能识别的?class文件被虚拟机加载进内存最终生产Class对象JVM通过Class对象获知class文件的结构信息:如构造器,字段,方法等class文件被虚拟机加载进内存生产Class对象的过程就是类加载机制反射概念

2021-05-27 22:39:12 141

原创 单例模式 面试常考试题

单例模式的设计原则:1、构造方法私有化2、在类中创建好该类对象3、在类中,给外界提供获取该对象的公有方式饿汉式一有机会,马上就吃,不去等待___一旦加载类型,马上创建对象在加载类的同时,就要初始化静态成员变量,所以就同时将该类对象创建出来懒汉式在加载类的时候,不同时创建该类对象,等到需要获取这个对象时,才去创建这个对象懒汉式:不着急、能不创建的时候,就不创建,能拖就拖注意事项:只有在sl == null的时候,才会创建对象sl的判断和sl的赋值,不希望分离开,否则在多

2021-05-26 23:11:13 400

原创 Java内置线程池基础知识

线程池线程池是一个装各种线程的容器;线程池的好处:降低资源消耗。减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务。提高响应速度。当任务到达时,任务可以不需要的等到线程创建就能立即执行。提高线程的可管理性。可以根据系统的承受能力,调整线程池中工作线程的数目,防止因为消耗过多的内存,而把服务器累趴下(每个线程需要大约1MB内存,线程开的越多,消耗的内存也就越大,最后死机)。Java内置线程池Executor 执行线程的工具ExecutorService

2021-05-26 20:25:05 90

原创 线程协作简介

线程协作多线程之间具有相互的同步关系,比如:券商和用户券商为用户提供服务,有了冲突谁错谁让步,这样使一个协调的合作关系;Java中的编程协调合作:把我们的对象继承多线程实例化分工协作,冲突用一下方法协调构造方法:wait() 停止执行当前线程—阻塞态notify() 使当前处于第一个阻塞态的线程运行notifyAll() 使当前处于所以阻塞态的线程运行使用注意:wait()方法要在synchronized方法中使用notify() 和notifyAll()也要在sync

2021-05-26 17:29:45 71

原创 Java中线程的生命周期简述

线程的五种基本状态新建态new就绪态等cpu yield运行态cpu同步阻塞态sleep join wait synchronized<英 /'sɪŋkrənaɪzd/ 同步>死亡态结束构造方法:getState() 返回当前线程对象的状态对象state<英 /steɪt/ 状态>state的六种状态简述NEW:新建态,没有开启线程RUNNABLE:就绪态和运行态BLOCKED:阻塞态(等待锁、I\O)WAI

2021-05-26 09:01:52 153

原创 Java多线程实现方法

1、Thread 多线程基本构造方法:public Thread(): 分配一个新的线程对象public THread(String name): 分配一个指定名字的新线程对象常用方法:getName() 获取当前线程的名字start() 开始执行当前线程,调用此线程的run()方法run() 要执行此程序时在此处设置程序代码sleep() 暂时停止执行固定的毫秒数public static Thread currentThread() 返回当前正在执行的线程对象的引用cu

2021-05-25 20:37:33 117

原创 线程和进程 并发和并行

1、 并发和并行并发:指两个或多个事件在同一个时间段内发生。并行:指两个或多个时间在同一时刻发生(同时发生)。2、 线程与进程进程就是在内存中独立占用一定空间正在运行的程序;是操作系统进行资源(包括cpu、内存、磁盘IO等)分配的最小单位比如在任务管理器运行的QQ.exe线程是程序运行流的最小单元一个程序是有一个或多个线程组成,源于多任务处理的需要。CPU线程数越多,越有利于同时运行多个程序,因为线程数等同于在某个瞬间CPU能同时并行处理的任务数。示例:浏览器打开我

2021-05-25 19:26:25 2009 1

原创 IO分支 各种高效流和序列化的详解

项目一:高效流——合并流之前我们学习到IO流通过字符和字节两种类型对数据输入和输出;在输入和输出是只是对单个文件的输入输出。利用FileOutputStream和FileInputStream如果对多个文件进行合并就会比较麻烦,这次介绍可以对多个流处理的API——序列流;一、序列流也称合并流对两个输入流进行同时添加处理;关键词: SequenceInputStream;//需要牢记这个词格式:SequenceInputStream(InputStream s1, InputStream

2021-05-24 16:51:00 132

原创 装箱和拆箱详解 正则

int和integer有什么区别正则 切割正则转换contains API源码 public boolean contains(Object o) { Iterator<E> it = iterator(); if (o==null) { while (it.hasNext()) if (it.next()==null) return true;

2021-05-23 15:33:37 262

原创 Map 集合详解

Map简介java.util.Map用于专门存放映射的集合。映射:具有对应关系的对象;比如: 丈夫和妻子;IP地址与主机名;身份证号与个人;锁和钥匙;车和车主;存储方式Map 是一个双列集合,由键(key)和值(value)组成;每个键对应一个值,键是不可重复的,值可重复;Collection中的集合称为单列集合,和Map集合双列呼应。Map常用子类HashMap<K,V>存储结构:链表+数组形式的存储结构特点:非线程安全的,允许有null键值对,元

2021-05-21 15:37:51 739

原创 Java file对象详解

File简介File可以新建、删除、和重命名文件和目录。但File不能访问文件本身,如果需要访问文件内容,则需要 I/O;File类的实例表示一个文件或者目录(文件夹); 构造一个File实例并不是创建这个目录或文件,而是该路径的一个抽象,它可能真实存在也可能不存在。(就是指向这个文件或目录)。创建方法简介:通过路径名字符串public File(String pathname)演示:String pathname = “D:\aaa.txt”; //文件路径名File file1 =

2021-05-20 22:49:11 370

原创 IO流 基本知识详解

项目1 IO流以内存为基准,数据的传输的输入与输出称为IO流;IO流分为分为输入input 和输出output ;输入也叫做读取数据,输出也叫做作写出数据。io的分类根据数据的流向分为:输入流和输出流。输入流: 数据到内存输出流:内存数据到其他存储设备。根据工具功能类型分为:字节流和字符流字节流:以字节为单位传输 的流;字符流:以字符为单位传输的流;顶级父类:字节流类: 输入:InputStream 输出:OutputStream字符流类: 输入:Reader 输出

2021-05-20 21:23:23 295

原创 Collection 单列集合的7种存出方法 泛型 增强for 迭代器的实现原理 Collections 可变参数()

集合概述集合:集合是java中提供的一种容器,可以用来存储多个数据。集合和数组既然都是容器,它们有啥区别呢?数组的长度是固定的。集合的长度是可变的。数组中存储的是同一类型的元素,可以存储基本数据类型值。集合存储的都是对象。而且对象的类型可以不一致。在开发中一般当对象多的时候,使用集合进行存储集合概述集合按照其存储结构可以分为两大类,分别是单列集合java.util.Collection和双列集合java.util.MapCollection:单列集合类的根接口,用于存储一系列符合某

2021-05-18 11:15:55 157

原创 接口

项目1 接口 interface接口就是一个合同,一个约定。实现接口,就是宣誓尊守这个约定。接口的目的:便于类间的交流,合作。java中的接口接口,是Java语言中一种引用类型,是方法的集合,如果说类的内部封装了成员变量、构造方法和成员方法,那么接口的内部主要就是封装了方法,包含抽象方法(JDK 7及以前),默认方法和静态方法(JDK 8),私有方法(JDK 9)。接口的定义,它与定义类方式相似,但是使用 interface 关键字。它也会被编译成.class文件,但一定要明确它并不是类,而是另外

2021-05-18 09:04:04 710

原创 多态的好处及应用 权限修饰符 包 引用类型转换 抽象类

项目1 权限修饰符概述在Java中提供了四种访问权限,使用不同的访问权限修饰符修饰时,被修饰的内容会有不同的访问权限,public:公共的。protected:受保护的default:默认的private:私有的不同权限的访问能力publicprotecteddefault(空的)private同一类中√√√√同一包中(子类与无关类)√√√不同包的子类√√不同包中的无关类√可见,public具有最大权限。p

2021-05-18 00:35:09 62

原创 面向对象 继承的特性 StringBuilder Object final equals instanceof super和this 重写

项目1 StringBuilderStringBuilder是一个可变的字符序列——在类中提供了修改私有成员变量的方法——没有提供修改私有成员的方法String是不可变的字符序列String长度本身也不可以变化,StringBuilder长度可以变化,可以认为StringBuilder就像一个可以伸缩的容器,用于存储字符常用方法构造方法作用创建当前对象、将其他类型的数据,转换成当前类型StringBuilder sb = new StringBuilder("abc");cap

2021-05-18 00:00:31 115

原创 面向对象 继承 单例模式 String

项目1单例模式解决一个类在内存中只能存在一个对象,想要保证对象的唯一。思路:将构造方法私有化(采用private修饰)在类中创建一个私有的本类对象(将类封装成private static类型)提供一个用类名调用的共有方法获取该对象(静态方法调用)单例模式的类会自行实例化并创建一个对象,同时对外提供一些访问这个对象的方式。饿汉式加载类的时候就把单利初始化完成。懒汉式只有在创建对象时才会调用。节约内存。...

2021-05-16 21:57:42 139

原创 面向对象篇 封装

封装项目1 封装的好处减少耦合,降低程序复杂性操作更简单,便于使用提高程序的可复用性隐藏实现细节,提供公共的接口,提高程序的安全性项目2 方法重载方法是将代码按照实现的功能分模块封装的模块,是解决特定问题的步骤有序集合。所以方法都是属于类的方法是为提高代码的复用性方法的一般格式修饰符 返回类型 方法名(参数类型 形式参数1, 参数类型 形式参数2,……){//方法体;return 返回值;}修饰符是对方法的约束,public,default,protected,pri

2021-05-16 20:58:15 60

原创 数组篇 格式 反转 排序 复制 内存原理 相关的方法使用 异常 二维数组

首先测试新项目是否好用项目一数组格式;public class day1 { public static void main(String[] args) { System.out.println("a"); }}//测试好用。可以正常运行//项目一:什么是数组。//数组是存储数据固定长度的容器,保证多个数据的数据类型要一致//什么是容器——将多个同类型的数据存储到一起每个数据是容器的元素//数组的特点:存储数据的容器、元素类型一样,可以基本数据类型,也可引用

2021-05-16 19:33:02 85

原创 面向对象篇 static 关键字

static 关键字主要用途:一.static关键字的用途:static方法就是没有this的方法。在static方法内部不能调用非静态方法,反过来是可以的。而且可以在没有创建任何对象的前提下,仅仅通过类本身来调用static方法。这实际上正是static方法的主要用途这段话虽然只是说明了static方法的特殊之处,但是可以看出static关键字的基本作用,简而言之,一句话来描述就是:方便在没有创建对象的情况下来进行调用(方法/变量)static 方法当static 修饰成员方法时,该方法称为类

2021-05-16 19:03:55 119

原创 面向对象篇 封装 This 成员变量 构造方法 有参和无参构造方法细节 初始化代码块 形参和实参 自定义类 对象和类的定义

面向对象包含的内容标准的JavaBean要求:编写符合`JavaBean` 规范的类this的使用说明作用是:this使用格式: this() 或 this(参数)注意: this调用时,必须放在构造方法的**第一句**(非注释内容)成员变量构造方法特征作用有参和无参构造方法细节初始化代码块封装——怎么使用,有什么作用使用好处形参和实参匿名对象类的定义自定义类成员变量语法对象和类的定义面向对象和面向过程区别java开发的任务标准的JavaBeanJavaBean是Java语言编写类的一种标准规范。要

2021-05-07 22:28:47 588

TLC 事务控制语言.xmind

MYSQL数据库SQL语句----TLC 事务控制语言总结思维导图

2021-06-07

数据库备份还原.xmind

MYSQL数据库数据备份还原章节内容总结,思维导图

2021-06-07

MYSQL数据库 存储过程详解.xmind

MYSQL数据库存储过程章节内容详解,思维导图

2021-06-07

MYSQL数据库 索引总结.xmind

MYSQL数据库 索引章节内容大纲总结思维导图

2021-06-07

DQL数据查询语言.xmind

数据库SQL语句总结 DQL数据查询语言

2021-06-07

DML 数据操纵语言.xmind

数据库SQL语句总结 DML数据操纵语言

2021-06-07

DDL 数据定义语言.xmind

数据库SQL语句总结---- DDL 数据定义语言

2021-06-07

DCL数据控制语言.xmind

思维导图DCL数据控制语言总结

2021-06-07

按利润求和奖金,简单的if和else if使用

C语音结构入门学习,麻雀虽小五脏俱全。感谢我同学的资源分享。简单介绍:利润10万或者以下提成10%,大于10万小于20万提成7.5%……利润100万以上奖金1%。

2021-03-27

c++简单的分支结构学习

{ int score; printf("请输入你的分数:"); scanf("%d",&score); if(score>100) { printf("数据输入有误请核准后再次输入"); } else if(score>=90&&score<=100) { printf("优秀"); } if(score>=80&&score<=90) { printf("良好"); } else if(score>=70&&score<=80) { printf("一般"); } else if(score>=60&&score<=70) { printf("及格"); } else { printf("不合格"); } }

2021-03-27

html第一堂课的第一个html.html

html入门学习,一些基本的标签运用,标题标签,h1-h6,字体大小,表格,嵌入链接 图像。因为图片不能够同时上传,故无法显示,请谅解。方法介绍是可以的。

2021-03-27

C入门学习,for求和用法

C入门学习,for求和用法,可以试着把i=i+2,改成i=i+1,或其他,熟练运用

2021-03-27

按利润求和奖金,C++简单的if和elseif用法

按利润求和奖金,C++简单的if和elseif用法。利润小于10万元提成10%,利润大于10万小于20万提成7.5%,大于20万小于40万提成5%,利润大于40万小于60万提成3.5%,利润大于60万小于100万奖金1.5%,100万以上1%

2021-03-27

C入门简单的分支结构学习 今天星期几.c

C语言分支结构,简单的if和elseif用法

2021-03-27

我的学习网站分享.html

第一次学习html制作了一个学习网站 有名气的学习网站 edX Coursera TED 中国大学MOOC 学堂在线 我要自学网 每日一文 JavaScript Linkedln java w3school

2021-03-27

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除