![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
面试
文章平均质量分 94
面试专用
oahaijgnahz
大数据开发
展开
-
操作系统与Linux常用知识总结
操作系统与Linux常用知识总结一、操作系统部分:进程与线程间的区别:(1)从拥有的资源层面看:线程几乎不拥有系统资源,并且同一进程的不同线程间共享进程资源。(2)从系统调度层面看:线程是CPU调度的基本单元,而进程是除CPU外系统资源的分配单元。(3)从系统开销层面看:创建进程需要操作系统为其分配或回收资源(内存空间、I/O资源等),开销较大。同样的在进程切换时,需要保存进程PCB信息和恢复另一进程的执行环境;而线程的切换只会涉及少量寄存器内容,开销较小,且线程共享进程的许多资源。(4)从通原创 2021-03-07 16:19:56 · 1464 阅读 · 1 评论 -
计算机网络常用知识总结
计算机网络常用知识总结mac地址和ip地址的区别与作用?mac地址ip地址定义硬件地址,由网络设备制造商生产时 写在硬件内部网络地址格式08:00:20:0A:8C:6D 长度为48位(6个字 节),通常表示为12个16进制数,每2个 16进制数之间用冒号隔开192.168.0.1 长度为32位。用点分隔开的4个8位组构成组成前6位16进制数08:00:20代表网络硬件制造商的编号,它由IEEE分配,而后3位16进制数0A:8C:6D代表该制造商所制造的某原创 2021-03-07 17:05:58 · 1232 阅读 · 0 评论 -
【JAVA重点知识汇总】(包含Java基础、JVM、Java并发)
JAVA重点知识汇总文章目录JAVA重点知识汇总一、String的不可变性二、StringBuilder & StringBuffer三、"=="和equals的区别四、Object.hashCode()五、Java、大数据开发学习要点(持续更新中…)一、String的不可变性1. String的不可变性(ps:通过反射可以改变)String类被final修饰,保证类不被继承。String内部char[] value设置为private,并且用final修饰符修饰,保证成员变量初原创 2021-06-15 21:41:13 · 1495 阅读 · 2 评论 -
一些有意思的智力题和概率题
文章目录1.一副扑克牌54张,平均分成三份,两张王在同一人手中的概率?1.一副扑克牌54张,平均分成三份,两张王在同一人手中的概率?将大小王分给一个人,另外两个人各拿18张牌的总事件有:3∗C5216C36183*{C_{52}^{16}}{C_{36}^{18}}3∗C5216C3618将54张牌分给三个人包含的事件数为:C5418C3618{C_{54}^{18}}{C_{36}^{18}}C5418C3618根据古典概率,有P=3∗C5216C3618C5418C36.原创 2021-07-18 15:27:46 · 908 阅读 · 0 评论 -
数据仓库理论与实践
数据仓库理论与实践文章目录数据仓库理论与实践一、数仓理论1.1 数据库和数据仓库的区别Java、大数据开发学习要点(持续更新中…)一、数仓理论1.1 数据库和数据仓库的区别数据库和数据库软件:数据库软件是一种物理概念,用于实现数据库。数据库是一种逻辑概念,用于存放数据,数据库由各种表组成,表则能表达数据的二维关系,而数据库的表能用二维表现多维关系。数据仓库:数据仓库从逻辑上讲与数据库没有什么差别,功能都是用于存放数据。但从数据用途和数据量上来讲,数据仓库区别于数据库是面向数据分析和数原创 2021-04-14 18:26:22 · 977 阅读 · 0 评论 -
MapReduce、MR On YARN(其他:全局TopN、分组TopN等)
MapReduce文章目录MapReduce一、MapReduce流程Java、大数据开发学习要点(持续更新中…)先来个MR的wordcount热热身~import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.原创 2021-03-28 16:13:20 · 990 阅读 · 0 评论 -
HDFS客户端读写文件流程详解
HDFS读写文件流程文章目录HDFS读写文件流程一、HDFS客户端写文件详解二、HDFS客户端读文件详解Java、大数据开发学习要点(持续更新中…)一、HDFS客户端写文件详解下面深入NameNode在客户端请求写文件时所做的具体事情:NameNode的create动作主要是为客户端传过来的文件名在文件系统中申请一个名字空间,并为之建立一个相应的iNode(状态为underConstruction),然后为这个客户端创建一个该文件的租约,以防止其它的客户端对这个文件同时写。NameN原创 2021-03-24 22:00:29 · 1362 阅读 · 0 评论 -
HBase万字详细原理解析
HBase超详细原理文章目录HBase超详细原理一、HBase数据模型1.1 逻辑视图与物理视图1.2 多维稀疏排序MapJava、大数据开发学习要点(持续更新中…)一、HBase数据模型 从逻辑视图来看。HBase中的数据是以 表 形式进行组织的,和关系型数据库中的表相同,HBase中的表也由行和列构成。但从物理视图来看,HBase是一个Map,由键值对(K,V)构成,不过与传统的Map不同的是HBase是一个稀疏的、分布式的、多维排序的Map。1.1 逻辑视图与物理视图首先看HBas原创 2021-05-26 15:22:43 · 892 阅读 · 0 评论 -
五千字让你了解的Kafka重点原理
Kafka原理解析文章目录Kafka原理解析一、什么是消息队列?什么是Kafka?1.1 消息队列1.2 Kafka概念与基础架构二、Kafka架构深入!!2.1 Kafka存储模型2.2 Kafka Producer2.2.1 数据分区2.2.2 数据可靠性保证2.2.3 Exactly-Once语义2.2.4 Producer数据提交流程2.3 Kafka Consumer2.3.1 消费模式2.3.2 分区分配策略2.3.3 offset维护2.4 Kafka高效读写的保证~2.5 Kafka如何原创 2021-05-29 21:52:48 · 611 阅读 · 0 评论 -
分布式理论与ZooKeeper相关概念
分布式理论与ZooKeeper相关概念文章目录分布式理论与ZooKeeper相关概念一、分布式系统与CAP、BASE理论1.1 分布式系统和集群1.2 CAP理论1.3 BASE理论二、分布式一致性协议2.1 2PC和3PC2.2 Paxos算法三、ZAB——ZooKeeper的分布式一致性协议3.1 ZAB协议原理Java、大数据开发学习要点(持续更新中…)一、分布式系统与CAP、BASE理论1.1 分布式系统和集群 分布式是指通过网络连接的多个组件,通过交换信息协作而形成的系统。而集群原创 2021-06-04 21:32:17 · 245 阅读 · 3 评论 -
MySQL高级(一)——索引与查询优化
MySQL原理文章目录MySQL原理一、MySQL逻辑架构常用存储对比(InnoDB与MyISAM)二、杂七杂八的一些知识2.1 SQL慢的可能原因2.2 SQL解析过程2.3 JOIN理论三、索引与B树3.1 什么是索引**?3.2 B树与B+树索引***!四、索引优化4.1 Explain性能分析*4.2 一些优化例子4.3 索引失效与避免**五、其他查询优化六、MySQL锁机制**6.1 锁与其应用场景锁的类型和适合的场景读阻塞写、写阻塞读手动锁定一行实现一个事务行锁升级为表锁的情况间隙锁的问题6原创 2021-06-01 15:31:53 · 681 阅读 · 0 评论 -
MySQL高级(二)——锁与事务
MySQL高级(二)——锁与事务文章目录MySQL高级(二)——锁与事务一、MySQL锁机制**1.1 锁与其应用场景锁的类型和适合的场景读阻塞写、写阻塞读手动锁定一行实现一个事务行锁升级为表锁的情况间隙锁的问题1.2 事务与MySQL隔离级别1.2.1 事务与事务的ACID属性***1.2.2 并发场景事务存在的问题**1.2.3 MySQL事务隔离级别1.2.4 MVCC协议二、MySQL主从复制*Java、大数据开发学习要点(持续更新中…)一、MySQL锁机制**1.1 锁与其应用场景原创 2021-06-02 19:15:30 · 620 阅读 · 0 评论 -
Flink内核原理学习(一)任务提交流程
Flink内核原理学习之文章目录Flink内核原理学习之Java、大数据开发学习要点(持续更新中…)原创 2021-05-12 15:43:40 · 1432 阅读 · 0 评论 -
Flink内核原理学习(二)组件通信RPC
Flink内核原理学习之任务提交流程文章目录Flink内核原理学习之任务提交流程一、Akka与Actor模型二、RPC消息类型三、Flink通信组件3.1 RpcGateway3.2 RpcEndpoint3.3 RpcService与RpcServer3.4 AkkaRpcActor四、PRC交互过程Java、大数据开发学习要点(持续更新中…)一、Akka与Actor模型 Akka是用于开发并发、容错和可伸缩应用的框架(常用于RPC通信框架),是Actor模型的实现。每个Actor都是独立原创 2021-05-14 16:11:58 · 1371 阅读 · 0 评论 -
Flink内核原理学习(三)任务调度流程
Flink内核原理学习之 任务调度流程文章目录Flink内核原理学习之 任务调度流程一、Flink中Gragh的概念1.1各类Gragh概念1.2 Gragh细节与转换过程Java、大数据开发学习要点(持续更新中…)一、Flink中Gragh的概念1.1各类Gragh概念 Flink 中的执行图可以分成四层: StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。StreamGraph: 根据用户通过 StreamAPI原创 2021-05-17 19:30:21 · 1284 阅读 · 2 评论 -
Flink内核原理学习(四)内存模型
Flink内核原理学习之 内存模型文章目录Flink内核原理学习之 内存模型一、JVM内存管理的缺点二、TaskManager内存模型三、内存数据结构四、网络传输中的内存管理4.1 网络IO内存管理4.2 反压机制Java、大数据开发学习要点(持续更新中…)一、JVM内存管理的缺点 目前,大数据计算引擎主要用 Java 或是基于 JVM 的编程语言实现的,Java 语言的好处在于程序员不需要太关注底层内存资源的管理,但同样会面临一个问题,就是如何在内存中存储大量的数据 (包括缓存和高效处理)原创 2021-05-18 17:26:55 · 1231 阅读 · 0 评论 -
Flink原理学习(五)状态
Flink原理学习之 状态文章目录Flink原理学习之 状态一、Flink的状态二、Flink自身容错——checkpoint机制三、Flink端到端一致性保证Java、大数据开发学习要点(持续更新中…)一、Flink的状态 状态在Flink中叫做State,用来保存中间计算结果或者缓存数据。State是实现有状态的计算下Exactly-Once的基础。状态主要分为两种类型:Operator State:跟一个特定算子的实例绑定,整个算子只对应一个State对象(相同的并行算子都能原创 2021-06-09 11:29:40 · 2434 阅读 · 0 评论 -
Flink原理学习(六)窗口和时间
Flink原理学习之 窗口和时间文章目录Flink原理学习之 窗口和时间一、Flink的时间类型二、Watermark三、Flink窗口机制Java、大数据开发学习要点(持续更新中…)一、Flink的时间类型Flink的时间语义分为三种:Event Time:即事件时间,是事件真正发生的时间,一旦确定就不会发生变化。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时间戳。Processing Time:即处理时间,是原创 2021-06-12 16:26:10 · 1149 阅读 · 2 评论 -
Hive与优化方法
Hive与优化方法文章目录Hive与优化方法一、Hive概念二、Hive架构三、Hive与数据库的比较四、Hive中一些重要的概念4.1 内部表和外部表4.2 分区表4.3 Hive排序关键字4.4 Hive分桶4.5 三种排序窗函数的区别五、Hive调优5.1 部分场景下尽可能避免启用MR5.2 表的优化5.3 数据倾斜优化5.3 其他优化Java、大数据开发学习要点(持续更新中…)一、Hive概念 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供原创 2021-06-11 17:00:05 · 1255 阅读 · 3 评论 -
OLAP与ClickHouse基础篇
OLAP与ClickHouse基础知识文章目录OLAP与ClickHouse基础知识一、OLAP二、ClickHouse的特点2.1 MPP架构的列式存储数据库2.2 ClickHouse的表引擎MergeTree2.3 CK的不适用场景一、OLAP联机分析处理(OLAP)是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多原创 2021-08-06 16:00:46 · 349 阅读 · 0 评论