qiezikuaichuan的专栏

　　HotSpot虚拟机中，对象在内存中存储的布局可以分为三块区域：对象头（Header）、实例数据（Instance Data）和对齐填充（Padding）。对象头markWord 用于存储对象自身的运行时数据， 如哈希码（HashCode）、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等等，这部分数据的长度在32位和64位的虚拟机（暂 不考虑开启压缩指针的场...

classnotfoundexception当程序运行的过程中尝试使用类加载器去加载class文件的时候，如果没有在classpath中查找到指定的类，就会抛出classnotfoundexception。一般情况下，当我们使用 class.forname或者classloader.loadclass以及使用 classloader.findsystemclass在运行时加载类的时候，如果类没...

exception 和 error都是继承了 throwable类，在java中只有 throwable类型的实例才可以被抛出 throw活着 捕获 catch，它是异常处理机制的基本组成类型，exception和error 体现了java平台设计者对不同异常情况的分类， exceptin是程序正常运行中，可以预料的意外情况， 可能并且应该被捕获，进行相应处理的。error是...

典型回答： java本身是一种面向对象的语言，最显著的特性有两个方面，一试所谓的 书写一次，到处运行， write once ，run anywhere ，能够非常容易的获得跨平台能力， 另外就是垃圾回收 gc garbage collection， java通过垃圾回收机器，回收分配的内存。大部分情况下，程序员不需要自己操心内存的分配和回收。我们日常回接触 jre 活着 ...

https://www.cnblogs.com/fengzheng/p/9070268.html并发的三个特性并发场景三个特性：原子性、可见性、有序性；只有在满足了这三个特性，才能保证并发程序正确执行，否则会出现各种问题；1、原子性：cas（乐观锁）和atomic*类，可以保证简单操作的原子性，对于一些负责的操作，可以使用synchronized或者各种锁来实现。2、可...

创建型：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。最常见的设计模式有：单例模式、工厂模式、代理模式、构造者模式、责任链模式、适配器模式...

文章介绍4种方法，简单易懂，通过4个demo抛砖引玉。目录在子线程中通过join()方法指定顺序在主线程中通过join()方法指定顺序通过倒数计时器CountDownLatch实现通过创建单一化线程池newSingleThreadExecutor()实现https://blog.csdn.net/jqc874789596/article/details/1005...

十大排序算法可以说是每个程序员都必须得掌握的了，花了一天的时间把代码实现且整理了一下，为了方便大家学习，我把它整理成一篇文章，每种算法会有简单的算法思想描述，为了方便大家理解，我还找来了动图演示；这还不够，我还附上了对应的优质文章，看完不懂你来砍我，如果不想砍我就给我来个好看。...

本文接上篇（https://www.jianshu.com/p/8e2f2f0d4b6c）继续讲解Hive/HiveQL常用优化方法，按照目录，会从“优化SQL处理join数据倾斜”说起。优化SQL处理join数据倾斜上篇已经多次提到了数据倾斜，包括已经写过的sort by代替order by，以及group by代替distinct方法，本质上也是为了解决它。join操作更是数据倾斜的重...

目录列裁剪和分区裁剪 谓词下推 sort by代替order by group by代替distinct group by配置调整 map端预聚合 倾斜均衡配置项 join基础优化 build table（小表）前置 多表join时key相同 利用map join特性 分桶表map join 倾斜均衡配置项 优化SQL处理join数据倾斜 空值或无...

事务（Transaction)是由一系列对系统中数据进行访问与更新的操作所组成的一个程序 执行逻辑单元（Unit)。狭义上的事务特指数据库事务。一方面，当多个应用程序并发访问数据库时，事务可以在这些应用程序之间提供一个隔离方法，以防止彼此的操作互相干扰。另一方面，事务为数据库操作序列提供了一个从失败中恢复到正常状态的方法， 同时提供了数据库即使在异常状态下仍能保持数据一致性的方法。事务...

区别：1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；2. InnoDB支持外键，而MyISAM不支持。对一个包含外键的InnoDB表转为MYISAM会失败；3. InnoDB是聚集索引，使用B+Tree作为索引结构，数据文件是和（主键）...

一、为什么需要索引？索引是数据表种一个或者多个列进行排序的数据结构索引能够大幅提升检索速度创建、更新索引本身也会耗费空间和时间二、查找结构进化史线性查找：一个个找；实现简单；太慢二分查找：有序；简单；要求是有序的，插入特别慢HASH查找：查询快；占用空间；不太适合存储大规模数据二叉查找树：插入和查询很快(log(n))；无法存大规模数据，复杂度退化平衡树：解决 BST 退化问题，...

详解 JVM 内存模型JVM 内存模型主要指运行时的数据区，包括 5 个部分，如下图所示栈也叫方法栈，是线程私有的，线程在执行每个方法时都会同时创建一个栈帧，用来存储局部变量表、操作栈、动态链接、方法出口等信息。调用方法时执行入栈，方法返回时执行出栈。本地方法栈与栈类似，也是用来保存线程执行方法时的信息，不同的是，执行 Java 方法使用栈，而执行 native 方法使用本...

1.索引   Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。   Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。   为什么要创建索引？Hive的索引目的是提高Hive表指定列的查询速度。没有索引时，类似'WHERE tab1.col1 = 10' 的查询，Hi...

1、 order by 排序，全局排序，默认升序， 只有一个reducer， 导致运行缓慢， 需要较长的计算时间。2、 sort by 局部排序，其在数据进入reducer前完成排序，因此如果用sort by 进行排序，并且设置 maped.reduce.task?> 1 则，sort by 只能保证每个 reducer输出有序，不能保证全局有序。3、 distribute...

1. ODS 数据准备层. (ods_v8sp.event_log)2. DWD 数据明细层.(dwd_v8sp.event_column_info_hour)3. DWB数据汇总层.(dwb_v8sp.event_column_info_new_hour)4. ST 数据应用层功能：ST层面向用户应用和分析需求，包括前端报表、分析图表、KPI、仪表盘、OLAP、专题等分析，...

转：https://www.jianshu.com/p/009f325e34a2总结前提：每一个job提交后都会生成一个ResultStage和若干个ShuffleMapStage其中ResultStage表示生成作业的最终结果所在的Stage；ResultStage的task分别对应着ResultTaskShuffleMapStage的task分别对应着ShuffleMa...

1、原则一：避免创建重复的RDD原则二：尽可能复用同一个RDD原则三：对多次使用的RDD进行持久化原则四：尽量避免使用shuffle类算子原则五：使用map-side预聚合的shuffle操作建议使用reduceByKey或者 aggregateByKey算子来替代掉groupByKey算子原则六：使用高性能的算子除了shuffle相关的算子有优化原则之外，其他的算...

数据倾斜调优， 使用各种技术方案解决不同类型的数据倾斜问题，以保证spark作业的性能。现象：绝大多数task执行都非常块，但是个别task执行极慢，比如总共有1000个task，997task都在1分钟内执行完成，但是剩下两三个task 需要一两个小时。spark oom数据倾斜发生的原理数据倾斜的原理很简单：在进行shuffle的时候，必须将各个节点上相同的key拉取到某...