bjfujxy-CSDN博客

原创 JVM体系

JVM快速入门1、JVM体系结构概述JVM位置JVM是运行在操作系统之上的，他与硬件没有直接的交互ClassLoader只负责class文件的加载，至于它是否可以运行，择由ExecutionEngine决定从上到下类装载器分为遵循的是双亲委派原则和沙箱安全机制双亲委派原则：当一个类接收到了类加载的请求，首先不会自己加载这个类，而是把请求给父类完成，每一层类加载器都是如此，...

2021-02-08 16:33:43 200

SparkCore总结1、RDD1.1定义：数据集：存储的数据的计算逻辑分布式：数据的来源 & 数据的计算 & 数据的存储弹性：血缘（依赖关系）Spark可以通过特殊的处理方案简化依赖关系计算 Spark的计算是基于内存的，所以性能特别高，可以和磁盘灵活切换分区 Spark在创建默认分区后，可以通过指定的算子来改变分区数量容错 Spark在执行计算时，如果发生了错误，需要进行容错重试处理Spark中数量：Executor: 可以通过提交应用的参数进行设定Parit

2021-01-10 10:45:24 138

原创 HBase读写架构图

HBase学习总结1、HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的特点：1、海量存储：适合存储PB级别的数据2、列式存储：HBase是根据列族存储的，列族下面有很多的列，列族可以在创建表的时候就必须指定3、极易扩展：一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）4、高并发：HBase的单个IO延迟下降的并不多，因此能获得高并

2020-11-21 18:56:15 271

原创 ArrayList HashMap源码分析

Java集合总结1、java集合概述为了方便多个对象存储，使用数组存储对象会有一些弊端，需要动态的把多个对象的引用放入到容器中，所以才产生了集合。数组的弊端由，初始化后长度就确定了，不便于拓展，提供的属性和方法都很少，不便于添加、删除、插入等操作，数组存储的特点十分的单一。集合的脉络图如下图所示：2、常见的ArrayList、LinkedList、Vector三者的异同同：都实现了List接口，存储有序、可重复的数据，底层都是动态数组不同：ArrayList 为主要的实现类，线程不安全、效率高

2020-11-17 11:37:37 170

原创 redis操作 AOF RDB 主从复制集群

Redis操作1.Redis的持久化Redis提供了2个不同方式的持久化方式RDB、AOFRDB是指在指定的时间间隔将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时将快照文件直接读到内存中备份是如何进行的？Redis会单独创建一个子进程来进行持久化，同时先将数据写入到一个临时文件中，等待持久化过程都结束了，再用临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，对于数据的恢复不是非常敏感，那RDB方式比AOF方式更加的高效，RDB的缺点是最后一次持

2020-11-14 00:14:28 846

原创 Redis 简介基本操作秒杀验证码

Redis1.简介1、数据都在内存中，支持持久化，主要支持备份功能。2、除了简单的key-value模式，还支持数据结构的存储，比如list、set、hash、zset等。3、一般都是作为缓存数据库辅助持久化的数据库2.Redis应用场景1、高频次、热门访问的数据，降低数据库IO2、分布式架构，做Session共享3、由于持久化能力，其多样的数据结构存储特定的数据最新的N个数据 List实现自然世界排序排行榜，TopN

2020-11-12 14:30:50 219

原创 Hive窗口函数

Hive窗口函数学习1、over()窗口函数的语法结构分析函数 over(partition by 列名 order by 列名 rows between 开始位置 and 结束位置）partition by 可以理解为 group by 分组分析函数按照每一组的数据开始进行计算的row between 开始位置 and 结束位置是指窗口函数的范围，从当前第一行到当前行比较常用的是 rows between unbounded preceding and current row 常用

2020-10-30 14:36:28 322

weixin_38387008的博客