2021年04月_Shockang

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创大数据理论体系

目录结构大数据是什么？大数据是如何发展起来的？大数据处理的基本流程是什么？为什么说数据不动代码动？移动计算比移动数据更划算？DAG对大数据处理有什么好处？批处理和流处理如何区分？有边界数据和无边界数据如何区分？批处理中如何提高CPU利用率？什么是事件时间和处理时间？Workflow设计模式指的什么？什么是商业智能（BI）？分布式锁是什么？如何实现？分布式事务是什么？如何实现？分布式锁和分布式事务有什么区别？CAP定理是什么？BASE理论是什么？分布式系统有哪些衡量指标？

2021-04-11 23:48:07 28229 34

原创资源调度有什么技术难点？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1.实时业务受限资源调度是为了提高资源利用率，分配本身是存在一定的开销的，对实时性要求非常高的应用不适合(毫秒、秒级别的应用) 2.应用(框架)资源规划难资源框架通过算法分配资源，但是每个细粒度的具体的任务对资源的需求很难预估。规划如果偏差较大，反而会降低系统本身的性能。3.内存使用分配难J

2021-04-22 00:37:16 11557

原创大数据资源调度框架有什么作用？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1.子系统高效调度任务之间资源隔离，减少争抢。任务分配调度时结合资源分配，各个任务分配合理的资源，充分利用系统资源，减少资源利用不充分的问题。资源调度结合优先级，优先级高的可以分配更多的资源。2.提高全系统的资源利用率各个子系统存在不同时期对资源需求不一样的情况，平滑系统资源的利用。3.支

2021-04-22 00:36:46 12221 6

原创分布式系统中转发如何实现？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1. HTTP重定向2. DNS域名解析3. 反向代理服务器4. 网络层5. 链路层补充HTTP重定向负载均衡服务器使用某种负载均衡算法计算得到服务器的P地址之后，将该地址写入HTTP重定向报文中，状态码为302。客户端收到重定向报文之后，需要重新向服务器发起请求。缺点需要两次请求

2021-04-22 00:36:10 11346 23

原创负载均衡算法有哪些？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答负载均衡算法有：1. 轮询(Round Robin)2. 加权轮询(Weighted Round Robbin)3. 最少连接(Least Connections)4. 加权最少连接(Weighted Least Connection)5. 随机算法(Random)6. 源地址哈希法(IP H

2021-04-22 00:35:35 14096 15

原创负载均衡是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答集群中的应用服务器(节点)通常被设计成无状态，用户可以请求任何一个节点。负载均衡器会根据集群中每个节点的负载情况，将用户请求转发到合适的节点上。补充用途负载均衡器可以用来实现高可用以及伸缩性高可用:当某个节点故障时，负载均衡器会将用户请求转发到另外的节点上，从而保证所有服务持续可用;伸缩性

2021-04-22 00:34:56 11129 18

原创 NoSQL是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答NoSQL，泛指非关系型的数据库。NoSQL是 Non-relational SQL或者Not Only SQL的英文简写，是不同于传统的关系型数据库的数据库管理系统的统称。NoSQL代表了一系列的、不同类型的相互关联的数据存储与处理的技术的集合。 NoSQL与RDBMS显著的区别是NoSQL不使用

2021-04-22 00:34:24 12147 26

原创 Cube技术是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Cube是MOLAP中使用的一种技术。MOLAP表示基于多维数据组织的OLAP实现(Multidimensional OLAP)。以多维数据组织方式为核心，也就是说， MOLAP使用多维数组存储数据。多维数据在存储中将形成“立方块Cube”的结构。其特点是将细节数据和聚合后的数据均保存在Cub

2021-04-22 00:33:51 13593 26

原创 OLAP有哪些实现方法？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答OLAP有多种实现方法，根据存储数据的方式不同可以分为 ROLAP、 MOLAP、 HOLAP。1. ROLAPROLAP 表示基于关系型数据库的OLAP实现(Relational OLAP)以关系型数据库为核心，以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类

2021-04-22 00:33:16 12248 28

原创 BSP和MapReduce有什么区别？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1. 执行机制: Mapreduce是一个数据流模型，每个任务只对输入数据进行处理，产生的输出数据作为另一个任务的输入数据，并行任务之间独立地进行，串行任务之间以磁盘和数据复制作为交换介质和接口。而BSP是一个状态模型，各个子任务在本地的子图数据上执行计算、通信、修改图的状态等操作，并

2021-04-22 00:32:41 11219 14

原创并行计算模型有哪些？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答并行计算模型通常指从并行算法的设计和分析出发，将各种并行计算机(至少是某一类并行计算机)的基本特征抽象出来，形成一个抽象的计算模型。从更广的意义上说，并行计算模型为并行计算提供了硬件和软件界面，在该界面的约定下，并行系统硬件设计者和软件设计者可以开发对并行性的支持机制，从而提高系统的性能。常见的并

2021-04-22 00:32:08 25876 24

原创什么是事实表和维度表？什么是维度和度量？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答维度表维度表示你要对数据进行分析时所用的一个量，比如你要分析产品销售情况，你可以选择按类别来进行分析，或按区域来分析。通常来说维度表信息比较固定，且数据量小事实表表示对分析主题的度量。事实表包含了与各维度表相关联的外键，并通过join方式与维度表关联。事实表的度量通常是数值类型，且记录数会

2021-04-18 08:29:42 13830 16

原创数据仓库是如何建模的？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库建模目前业界较为流行的数据仓库的建模方法非常多，常用的有范式建模法，维度建模法，实体建模法等几种方法。每种方法其实从本质上讲就是从不同的角度看我们业务中的问题，不管从技术层面还是业务层面，其实代表的是哲学上的一种世界观。其中维度建模法最常用，基于事实表和维表可以构建出多种多维模型，包括星形模型

2021-04-18 08:29:17 12636 23

原创数据仓库是如何分层的？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答从整体的逻辑划分来讲，数据仓库模型是这三层架构。1. 接入层:底层的数据源或者是操作数据层，一般在公司的话，统一都是称为ODS层。2. 中间层:是做数据仓库同学需要花费更多精力的一层，这一层包括的内容是最多的、最复杂的。3. 应用层:对不同的应用提供对应的数据。该层主要是提供数据产品和数据分析使用的

2021-04-18 08:28:28 15324 25

原创 OLTP和OLAP的区别？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，如银行交易；OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。补充OLTPOn-line Transaction Processing即联机事务处理，也可以称面向交易的处理系统。

2021-04-18 08:27:40 11651 24

原创数据仓库与数据库的区别？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，有很高的事务要求；数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的

2021-04-18 08:27:08 11501 25

原创数据仓库是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库（Data Warehouse），可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供決策支持(Decision Support)。它出于分析性报告和決策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要消费”任何的数据，数据来源于外部，并且开放给外部

2021-04-18 08:26:37 14345 22

原创数据仓库应该选择哪种服务器架构

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库适合使用MPP架构补充哪种服务器更加适应数据合库环境?这需要从数据仓库环境本身的负载特征入手。众所周知，典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的I/O处理能力，并且存储系统需要提供足够的I/O带宽与之匹配。而一个典型的OLTP系统则以联机事务处理为主，每次交

2021-04-17 23:30:54 11466 22

原创 MPPDB和Hadoop有什么区别

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答一、从数据类型考虑Hadoop在处理非结构化和半结构化数据上具备优势，尤其适合海量数据批处理等应用要求。MPP适合替代现有关系数据机构下的大数据处理，具有较高的效率。二、从应用场景考虑MPP适合多维度数据自助分析、数据集市等；Hadoop适合海量数据存储查询、批量数据ETL、非机构化数据分

2021-04-17 23:30:21 11902 22

原创 MPPDB是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答MPP DB是一款 Shared Nothing架构的分布式并行结构化数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统、BI系统和決策支持系统.补充MPP详情请见我的另一篇博客——从系统架构角度出发，服务器该如何分类？

2021-04-17 23:29:50 16167 35

原创从系统架构角度出发，服务器该如何分类？MPP 是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构(Symmetric Multi-Processor,SMP)、非一致存储访问结构(Non-Uniform MemoryAccess,NUMA),以及海量并行处理结构(Massive Parallel Processing,MPP)。

2021-04-17 23:29:18 11447 33

原创 JVM 中可以创建多少个线程？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答成百上千个，具体的与计算机本身性能和 JVM 配置有关。比如可以使用-Xmx标志增加JVM的最大内存分配，可以使用-Xss标记减少每个线程栈分配的内存大小。补充JVM 常用调优参数参数说明补充-Xms初始堆内存大小，默认物理内存64/1-Xms = -XX:Initia

2021-04-17 22:10:50 7092 14

原创列式存储格式该如何选择？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据框架中常用的列式存储格式有Parquet和ORC。ORC通常作为数据表的数据格式应用在Hie和Presto等计算引擎中，它们对ORC读写进行了优化;而Parquet提供了非常易用的读写API，用户可在应用程序(比如Spark或Mapreduce等分布式程序)中直接读写 Parquet格式的文

2021-04-15 21:02:38 21078 23

原创 Parquet是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Parquet是Hadoop上一种支持列式存储的文件格式，本质上将嵌套结构存储为扁平格式。Parquet非常适用于 OLAP 场景，按列存储和扫描。Parquet被称为大数据时代存储格式的事实标准。补充特点更高的压缩比列存使得更容易对每个列使用高效的压缩和编码，降低磁盘空间。（网上的c

2021-04-15 21:02:10 12612 34

原创 ORCFile是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答ORC是专为Hadoop设计的自描述的列式存储格式(Apache Hive0.11版本引入)，重点关注提高数据处理系统效率和降低数据存储空间。它支持复杂数据类型、ACID及内置索引支持，非常适合海量数据的存储。补充特点混合存储结构先按行存储，一组行数据叫Stripes， Stripes内部按列

2021-04-15 21:01:29 11901 26

原创列式存储和行式存储有什么区别？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答行式存储:1. 数据是按行存储的2. 没有建立索引的查询将消耗很大的IO3. 建立索引和视图需要花费一定的物理空间和时间资源4. 面对大量的查询，复杂的查询数据库必须被大量膨胀才能满足性能需求列式存储:1. 数据是按列存储的，每一列单独存放2. 只访问查询涉及的列大量降低系统IO3.

2021-04-15 21:00:55 14926 25

原创 Kryo是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Kryo是一个快速且高效的针对Java对象序列化的框架。补充优点序列化的性能非常高序列化结果体积较小提供了简单易用的APIKryo序列化被很多开源项目使用，社区非常活跃，版本迭代也比较快。缺点不支持跨语言——Kryo是针对Java Object的序列化，对于跨语言方面是不支持的，但

2021-04-15 21:00:21 13468 29

原创 Apache Avro是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Apache Avro(以下简称Avro)是一种与编程语言无关的序列化格式。 Avro是Hadoop生态系统中的序列化及RPC框架，设计之初的意图是为 Hadoop提供一个高效、灵活且易于演化的序列化及RPC基础库，目前已经发展成一个独立的项目。Avro数据通过与语言无关的 schema来定义。 s

2021-04-15 20:59:48 11275 2

原创 Apache Thrift是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Apache Thrift是一个用来进行可扩展且跨语言的服务开发协议框架。它拥有强大的代码生成引擎，支持C+、Java、 Python等编程语言。 Apache Thrift允许定义一个简单的文件(后缀名以.thrift结尾)，文件中包含命名空间、数据类型和服务接口。Apache Thrift中自带的

2021-04-15 20:59:08 11168 23

原创分布式系统中序列化框架该如何选择？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答分布式系统中常用的序列化框架有Apache Thrift，Google Protocol Buffers，Apache Avro，这 3 个都是"Language Of Data”。它们通过引入 schema，使得数据跨语言序列化变得非常高效，同时提供了代码生成工具，为用户自动生成各种语言的代码。除了

2021-04-15 20:58:26 20194 27

原创为什么要将数据序列化？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答当需要将数据存入文件或者通过网络发送出去时，需将数据对象转化为字节流，即对数据序列化。1. 数据序列化本质上是将JVM中链式存储的对象转化成连续存储的字节数组，这将极大的减少数据大小。2. 对于每一个序列化的Java对象来说都有唯一的序列化 UID，这样可以保证在新的 JVM 中恢复对象即反序列化后同

2021-04-15 20:57:09 12462 21

原创 Protobuf是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答Google Protocol Buffers(Protobuf)是一种轻便、高效的结构化数据存储格式，可以用于结构化数据串行化，很适合做数据存储或RPC数据交换格式。它可用于通信协议、数据存储等领域的语言无关、平台无关扩展的序列化结构数据格式。补充优点更小、更快——Protobuf类似XM

2021-04-15 20:56:31 15158 21

原创 Java中有哪些方法可以终止线程运行？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答在Java语言中，可以使用stop方法与suspend方法来终止线程的执行。Thread.stop()可能会导致锁定的资源对象出现数据不一致的问题，Thread.suspend()可能会导致死锁问题。鉴于以上两种方法的不安全性，Java语言己经不建议使用以上两种方法来终止线程。那么，如何才能终止线程

2021-04-14 23:55:48 8476 12

原创 Java中实现多线程的方法有哪些？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答准确的讲创建线程只有一种方式那就是构造 Thread 类，而实现线程的执行单元有两种方式 (即run方法的两种不同实现情况)。方法一: 实现 Runnable 接口的 run 方法，并把 Runnable 实例传给 Thread 类，再让 Thread 类去执行这个 run 方法。方法二: 重写 Th

2021-04-14 23:54:53 6928 16

原创同步和异步有什么区别？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答同步和异步通常用来形容一次方法调用。同步方法调用一旦开始,调用者必须等到方法调用返回后,才能继续后续的行为。异步方法调用更像一个消息传递,一旦开始,方法调用就会立即返回,调用者就可以继续后续的操作。而异步方法通常会在另外一个线程中"真实"地执行。整个过程,不会阻碍调用者的工作。对于调用者来说,异步调用似乎

2021-04-14 23:54:02 11175

原创死锁、活锁和饥饿是什么意思？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答死锁是指两个或者两个以上的进程（或线程）在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，他们将无法推进下去。如果线程的智力不够, 且都秉承着“谦让”的原则,主动将资源释放给他人使用,那么就会导致资源不断地在两个线程间跳动,而没有一个线程可以同时拿到所有资源正常执行。这种情况就是活锁。

2021-04-14 23:53:08 8272 16

原创什么叫线程安全？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答当多个线程访问一个对象时,如果不用考虑这些线程在运行时环境下的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调用这个对象的行为都可以获得正确的结果,那这个对象是线程安全的。...

2021-04-14 23:52:16 6859

原创并发和并行有什么区别？

写在前面本文隶属于专栏《100个问题搞定Java并发》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定Java并发解答并发是关于正确有效地控制对共享资源的访问。并行是使用额外的资源来更快地产生结果。并发同时完成多任务。无需等待当前任务完成即可执行其他任务。“井发”解决了程序因外部控制而无法进一步执行的阻塞问题。最常见的例子就是I/O操作,任务必须等待数据输入(在一些例子中也称阻塞)。这个问题常见于I/O密集型任务。

2021-04-14 23:51:27 6929

原创一致性哈希是什么？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答一致性哈希算法是一种特殊的哈希算法，目的是解决分布式缓存的问题。在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表(Distributed Hash Table，DHT)中存在的动态伸缩等问题。补充Distri

2021-04-14 23:45:44 12180 31

原创分布式系统数据分片有哪些方式？

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1. hash2. consistent hash without virtual node3. consistent hash with virtual node4. range based补充为什么要数据分片？分布式是解决把一个大任务细分为多个小任务。大任务我们是知道了的。那么，问题

2021-04-14 23:44:53 12828 30