单色冰灵的博客

原创 hive的优化以及数据倾斜问题的解决

原创 hive中分区表的技术与意义

原创 Hive的内部表、外部表的区别

原创 hive的几种存储格式

原创 mysql的几种引擎及其特点

原创 hbase的应用场景和RowKey设计

HBase是什么? HBase是一个在HDFS上开发的面向列的分布式数据库,可以实时的访问超大规模数据集. Apache HBase是Hadoop数据库，一个分布式的、可伸缩的大数据存储。 Apache HBase是一个开源的、分布式的、版本化的、非关系的数据库 结构图: https://wenku.baidu.com/view/b2bd94946bd97f192379e941....

转载 left join、right join、inner join区别

一、sql的left join 、right join 、inner join之间的区别　　left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录　　right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录　　inner join(等值连接) 只返回两个表中联结字段相等的行举例如下：-----------------------...

原创 Spark中的算子分类

原创 数据倾斜

1.1 数据倾斜优化1.1.1为何要处理数据倾斜(Data Skew)数据倾斜是能体现一 个spark大数据工程师水平的性能调优问题。什么是数据倾斜?...详见文档数据倾斜指的是并行处理的数据集中,某一部分(如Spark或Kafka的一个Partition)的数据显著多于其他部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈.数据倾斜两大直接致命后果:1 Out Of Me...

原创 Hbase

HBase是什么? (有道云:书籍:HBase笔记)HBase是一个在HDFS上开发的面向列的分布式数据库,可以实时的访问超大规模数据集.Apache HBase是Hadoop数据库，一个分布式的、可伸缩的大数据存储。Apache HBase是一个开源的、分布式的、版本化的、非关系的数据库结构图: https://wenku.baidu.com/view/b2bd94946...

原创 数据仓库

数据库和数据仓储的区别:> 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。> 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。> 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。 （维是看问题的角度，...

转载 zookeeper

zookeeper zookeeper是一个分布式协调服务; 集群角色:leader 和 follower（Observer） 底层核心功能: 管理用户程序提交的数据 (存储) 为用户程序提供数据节点监听服务 (监听)1、应用场景 主从协调 服务器节点动态上下线 统一配置管理 分布...

原创 JVM内存模型-方法区

原创 JVM内存模型-栈，本地方法栈，程序计数器

原创 JVM内存模型-堆

原创 java编程实现斗地主发牌

编写一个自动发牌程序，模拟三人斗地主的摸牌场景。首先要给出提示，谁首先开始摸牌，并且摸牌要和现实摸牌一样，三人循环摸牌，最后还要剩余三张底牌，同时给出地主牌，摸到地主牌的玩家拥有三张底牌。三张底牌三人都可以看到。当三张底牌派发给地主后提示玩家摸牌结束实现思路 （1）首先将一副牌的四种花色和对应的牌面值随机组合放进Set集合，因为Set集合是非重复集合，所以无需考虑重复的问题...

原创 守护线程

守护线程 守护线程相当于后台线程,依赖与前台线程.正常情况下,当前台线程结束的时候,不管守护线程有没有结束,都会立刻结束.典型的守护线程:垃圾回收线程public class Demo{ public static void main(String[] args) { Test test = new Test(); Thread thread = new ...

原创 单例模式中的线程安全问题

package com.qianfeng.test;public class Demo { public static void main(String[] args) { Test test = new Test(); Thread thread = new Thread(test); thread.start(); }}//单例模式三要素:// 1.私有的构造...

原创 理解synchronized关键字

1.synchronized关键字的作用域有两种:(1)作用域在某个对象实例内,synchronized aMethod(){}可以防止多个线程同时访问这个对象的synchronized方法(如果一个对象有多个synchronized方法,只要一个线程访问了其中的一个synchronized方法,其他线程就不能同时访问这个对象中任何一个synchronized方法).这时不同对象实例的sy...

原创 java中线程安全问题如何解决?

线程安全问题解决方法:在代码中使用同步代码块(同步锁)解释:在某一段任务中,同一时间只允许一个线程执行任务,其他的线程即使抢到了cpu,也无法进入当前的任务区间,只有当当前的线程将任务执行完后,其他的线程才有资格进入.同步代码块的构成:synchronized(锁(对象)){     同步的代码}作为锁对象的要求:1.必须是对象2.必须保证被多线程共享可...

原创 java中的线程和多线程

   线程 1.概念程序:一个可执行的文件进程:一个正在运行的程序,也可以理解为在内存中开辟了一块空间线程:负责程序的运行,可以看做一条执行的通道或执行单元,所以我们经常将进程的工作理解成线程的工作问题1:进程中可不可以没有线程?答:不可以,进程中必须有线程,至少有一个.当有一个线程的时候我们称为单线程(唯一的线程就是主线程).当有一个以上的线程同时存在的时候我们称为多...

转载 java重写规则

摘自:百度问答(xiangjuan314)java的重写规则:对于异常重写方法不能抛出新的异常或者比被重写方法声明的检查异常更广的检查异常。但是可以抛出更少，更有限或者不抛出异常。重写规则之一：重写方法不能比被重写方法限制有更严格的访问级别。（但是可以更广泛，比如父类方法是包访问权限，子类的重写方法是public访问权限。） 比如：Object类有个toString()方法，开始重写这个方...

原创 java中的异常

1.异常：          程序中出现的不正常现象。 2.异常的由来：         程序在运行的过程中出现了不正常的情况，程序把它看成对象提取了属性行为（名字，原因，位置等信息） 形成了各种异常类  3.异常的分类：（throwable）        1.Error(错误)：运行中出现的严重错误，不需要我们进行更改。        2.Exception():运行中...

原创 java中的抽象类

  抽象类：         * 方法的声明：没有方法体的方法         * abstract:抽象的         * 有两种描述：抽象类，抽象方法         * 抽象类：在继承中，提取父类方法的时候，每个子类都有自己具体的实现方法，父类不能决定他们各自的实现方法，父类就不管了，所以在父类中只写方法的声明，将方法的实现交给子类，在类中只有方法声明的方法称为抽象方法，拥有抽...

原创 java接口

        /*         * 接口：interface          * 构成：         * interface 接口的名字{         *         接口的实现部分         *         （默认是public final static）成员变量；         *         （默认是public abstract）成员方法（声...

原创 java---单例模式

   设计模式：是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结  实用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码的可靠性  常用的设计模式:23种，我们要学：单例、模板、装饰、适配器、工厂、代理等  单例设计模式:一个类只允许有一个对象，将这个对象作为一个全局的访问点提供出去供大家使用。  分析：  1.用户只能有一个对象  2.全局的访问点：得到...