2020年01月_K. Bob

原创 Java解决Hash冲突的四种方式

1、类的实例化顺序，比如父类静态数据，构造函数，字段，子类静态数据，构造函数，字段，它们的执行顺序先静态、先父后子。先静态：父静态 > 子静态优先级：父类 > 子类静态代码块 > 非静态代码块 > 构造函数一个类的实例化过程：1、父类中的static代码块，当前类的static2、顺序执行父类的普通代码块3、父类的构造函数4、子类普通代码块5、子类（当...

2020-01-31 16:39:40 1164

原创 Java垃圾回收

GC算法回收堆引用计数法可达性分析算法回收方法区垃圾回收算法标记-清除算法复制算法(新生代回收算法)标记整理算法(老年代回收算法)分代收集算法回收堆 Java堆中存放着几乎所有的对象实例，垃圾回收器在堆进行垃圾回收前，首先要判断对象存活与否。判断对象是否存活有如下算法：引用计数法引用计数法算法：给对象增加一个引用计数器，每当有一个地方引用它时，计数器就+1；当引用失效时，计数器就-1...

2020-01-31 15:19:05 620

MySQL存储引擎存储引擎MySQL存储引擎存储引擎 MySQL数据库在实际的工作中分为了语句分析层和存储引擎层，其中语句分析层主要负责与客户端完成连接并且事先分析出SQL语句的内容和功能，存储引擎层则主要负责接收来自语句分析层的分析结果，完成相应的数据输入输出和文件操作，即如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存...

2020-01-30 15:03:40 1563

原创 MySQL事务特性以及事务的隔离级别

MySQL事务特性以及事务的隔离级别事务的四大特性（ACID）事务的隔离级别MySQL数据库的四种事务隔离级别事务的四大特性（ACID）数据库支持事务操作，必须要具备以下四个特性：原子性（Atomicity）　　原子性：事务包含的所有操作要么全部成功，要么全部失败回滚，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。一致性（Consistenc...

2020-01-30 14:04:29 2972

原创 HBase HA

HBase进行HA配置的原因 HBase通过WAL来保障数据不丢失。HBase在写数据前会先写HLog，HLog中记录的是所有数据的变动， HBase的高可用也是通过HLog实现的。 HBase 是一个没有单点故障的分布式系统，计算层和存储层都有各自的保障了服务的可用性。HBase 容错：HMaster 容错 HMaster 可以配置HA，利用 Zookeeper 重新选择新的 ...

2020-01-20 22:38:01 392

原创 LeetCode——Slinding Window

1074.元素和为目标值的子矩阵数量480.滑动窗口中位数3.无重复字符的最长子串1040.移动石子直到连续II1004.最大连续1的个数III76.最小覆盖子串424.替换后的最长重复字符567.字符串的排列1052.爱生气的书店老板239.滑动窗口最大值992.K个不同整数的子数组978.最长湍流子数组...

2020-01-16 00:26:48 297

原创 Yarn

Yarn框架Yarn的主从结构Yarn的内置调度器Yarn的工作流程 YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn的主从结构Yarn 资源管理器（ResouceManager）：协调集群计算资源的分配，主要接收客户端任务请求，接收和监控NodeManager的资源情况汇报，负责资源的分...

2020-01-13 14:02:42 536

原创数据一致性

大数据常用组件中的数据一致性问题HadoopNameNode保证元数据的一致性校验和HA高可用冗余副本机架感知心跳机制安全模式校验和回收站元数据保护快照机制SparkKafkaZooKeeperHBaseStormHadoop HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode...

2020-01-10 10:08:20 544

原创 Spark与MySQL连接

方法一：各个字段都是提前定好的val prop = new java.util.Propertiesprop.setProperty(“user”, “root”)prop.setProperty(“password”, “123456”)df.write.mode(SaveMode.Append).jdbc(“jdbc:mysql://localhost:3306/test”, “myt...

2020-01-03 00:04:28 764

ThreeAspects的博客