自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(161)

原创 OLTP,OLAP以及HTAP的区别

OLTP,OLAP以及HTAP的区别本文链接:https://blog.csdn.net/ZG_24/article/details/87854982收起OLTPOn-Line Transaction Processing联机事务处理过程(OLTP)也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。这样做的最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real tim

2020-09-28 12:32:21 8

原创 Hive架构原理与实战——apache-hive-3.1.2+Mysql部署与配置

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行Hive特点它存储架构在一个数据库中并处理数据到HDFS。它是专为OLAP设计。它提供SQL类型语言查询叫HiveQL或HQL。它是熟知,快速,可扩展和可扩展的。Hive架构下面的组件图描绘了Hive的结构:该组件图包含不同的单元。下表描述每个单元: 单元名

2020-09-23 23:25:30 11

原创 HBase RIT异常分析及其解决方案, region(s)in transistion for more than 60000 milliseceonds

最近的一段时间,HBase集群突然出现了一些异常,偶尔部分机器会出现RIT的情况,

2020-09-20 23:21:22 11

原创 HBase-2.2.4 Shell操作指令和Java Api归纳

Shell 数据定义create: 用于创建一个表。create 'order','info','user'create 'userlog','info','params','result'list: 用于列出HBase的所有表。hbase(main):009:0> listTABLEorderuserlog2 row(s)Took 0.0088 seconds=> ["order", "userlog"]disable: 用于禁用表。h.

2020-09-16 23:48:21 14

原创 HBase-2.2.4架构原理与完全分布式使用

HBase的架构通过上图我们可以得出Hbase中的每张表都按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过 256M 就要被分割成两个,由 HRegionServer管理,管理哪些HRegion由HMaster分配。现在我们来介绍一下HBase中的一些组成部件以及它们起到的作用:Client:包含访问HBase的接口,并维护cache来加快对HBase的访问。Zookeeper:HBase依赖Zookeeper,默认情况下HBase管理Zookeeper.

2020-09-15 23:58:43 8

原创 HDFS架构与可靠性

Block数据块基本存储单位,一般为128M(Hadoop1.x默认64M,Hadoop2.x默认128M)基本的读写单位,类似于磁盘的页,每次读写一块每个块默认复制三分存储到多台机器NameNode存储文件的metadata,运行时所有metadata数据都保存到内存,因此整个HDFS可存储的文件数受限于NameNode的内存大小 一个Block在NameNode中对应一条记录(一般一个block占用150字节),如果是大量的小文件,会消耗大量内存。同时map tas...

2020-09-07 23:23:34 28

原创 Hadoop大数据生态系统测试环境构建——基于CentOS7.8部署Hadoop3.1.4集群

1、准备三台测试机器并配置好网络和免密登录, 配置4G 双核 500G ,系统 CentOS Linux release 7.8.2003 (Core)(如果觉得麻烦可以在虚拟机上搭建) ip和hostname分别是: 192.168.236.128 Master.Hadoop 192.168.236.129 Slave1.Hadoop 192.168.236.130 Slave2.Hadoop我们可以先简单试下有没有问题...

2020-09-04 12:07:53 75

原创 YARN资源调度中的细节探究

1. Job submission从ResourceManager中获取一个Application ID 检查作业输出配置,计算输入分片 拷贝作业资源(job jar、配置文件、分片信息)到HDFS,以便后面任务的执行2. Job initializationResourceManager将作业递交给Scheduler(有很多调度算法,一般是根据优先级)Scheduler为作业分配一个Container,ResourceManager就加载一个application master ...

2020-09-01 23:55:50 36

原创 深入理解主从Reactor多线程模型

Reactor主线程对象通过select监听连接事件,通过Acceptor处理连接事件当Acceptor处理连接事件后,主reactor将连接分配给从Reactor从Reactor将连接加入到连接队列进行监听,并创建handler进行各种事件处理当有新事件发生时,从reactor就会对用对应的handler处理...

2020-06-28 23:53:02 536

原创 kubernetes的dashboard报错unable to decode no kind Role is registered for version

dashboard报错unable to decode "https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml": no kind "Role" is registered for version "rbac.authorization.k8s.io/v1"unable to decode "https://raw.githubusercontent.com/kubernete

2020-06-15 23:51:01 546

原创 深入理解LSM存储模型

LSM(log-structed-merge-tree)

2020-05-27 23:56:34 124

原创 hbase/hadoop异常:No lease on /hbase/archive/data/... File is not open for writing

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 40 -bandwidth 300错误日志;org.apache.hadoop.hdfs.server.namenode.LeaseExp

2020-05-23 00:03:45 149

原创 BIO、NIO、AIO、同步、异步、阻塞、非阻塞和多路复用模型

IO、NIO、BIO、AIO、阻塞、非阻塞和多路复用

2020-05-13 20:52:43 120

原创 快速排序、归并排序、选择排序和插入排序的Java实现

快速排序 快速排序使用分治法(Divide and conquer)策略来把一个串行(list)分为两个子串行(sub-lists)。快速排序又是一种分而治之思想在排序算法上的典型应用。本质上来看,快速排序应该算是在冒泡排序基础上的递归分治法。在平均状况下,排序 n 个项目要 Ο(nlogn) 次比较。在最坏状况下则需要 Ο(n2) 次比较,但这种状况并不常见。事实上,快速排序通常明显比其他 Ο(nlogn) 算法更快,因为它的内部循环(inner loop)可以在大部分的架构上很有效率地..

2020-05-13 20:32:53 83

原创 红黑树的实现与应用

红黑树

2020-05-03 23:41:23 92

原创 SpringBoot自动配置实现平台核心服务自动加载

什么是自动配置 看下官方原文咋说的,Spring Boot auto-configuration attempts to automatically configure your Spring application based on the jar dependencies that you have added. For example, ifHSQLDBis on your c...

2020-05-01 23:02:54 110

原创 真的搞懂了网络七层协议吗?

真的搞懂了网络七层协议吗?

2020-04-30 23:38:32 109

原创 git 报错Could not read from remote repository. Please make sure you have the correct access rights an

最近在拉取github、gitlab中的项目时,git 报了这样的错误,错误很简单,但是也是常碰到的Warning: Permanently added the RSA host key for IP address '13.250.177.223' to the list of known hosts.git@github.com: Permission denied (publickey...

2020-04-28 00:02:25 113

原创 HBase海量业务数据二级查询实现毫秒级响应,HBase原理与数据模型设计详解

为什么需要使用HBase做海量业务数据的存储1、扩展性强、容量大,支持百亿行、百万列数据的存储。HBase底层基于HDFS,可动态增加节点2、高可靠性,WAL机制保证数据的安全性,Replication机制保证集群的数据容灾能力3、高性能,由于底层的LSM数据结构和RowKey有序排序,HBase具备较好的随机读取性能,RowKey的查询可达毫秒级响应4、稀疏性、面向列存储,空列不...

2020-04-27 23:29:03 201

原创 真的搞懂Mybatis原理了吗

Mybatis是一个开源的支持定制化 SQL、存储过程以及高级映射的半ORM框架它的底层操作封装了JDBC的API,工作原理以及核心流程与JDBC的使用步骤一脉相承首先弄清楚核心对象(1)SqlSession对象,该对象中包含了执行SQL语句的所有方法,类似于JDBC里面的Connection 。(2)Executor接口,它将根据SqlSession传递的参数动态地生成需要执行的S...

2020-04-26 23:52:39 64

原创 B+树

这个问题是我在看视频的时候老师提到的,虽然之前知道他们各自的索引结构但是还没有研究过原因。在网上一搜答案特别多。但是都特别的啰嗦。于是总结了这篇文章。一、B-树和B+树的区别很明显,我们要想弄清楚原因就要知道B-树和B+树的区别。为了不长篇大论。我们直接给出他们的形式总结他们的特点。1、B-树B-树是一种自平衡的搜索树,形式很简单:这就是一颗B-树。针对我们这个问题的最核...

2020-04-26 23:43:27 48

原创 Docker网络隔离模式和文件隔离系统详解

aufsaufs是一种实现了联合挂载(union mount)的文件系统,同unionfs类似,它能够将不同类型的文件系统透明地层叠在一起,实现一个高效的分层文件系统。说白了aufs就是能将不同的目录挂载到某一目录下,并将各个源目录下的内容联合到目标目录下,这里每个源目录对应aufs中的一层,用户在目标目录读写时,感觉不到此目录是联合而来的。aufs中的每一层都可以有不同的权限(只读,读写),...

2020-04-09 23:59:48 193

原创 重温IO中零拷贝技术实现的细节,Java对零拷贝的封装实现

什么是零拷贝?传统的IO零拷贝IO零拷贝的底层实现

2020-04-08 23:57:38 71

原创 kafka消息丢失和重复消费问题

消息如何保证可靠,是消息队列使用过程中非常重要的问题。我们都知道,在分布式系统中可用性是不可能达到百分百的,即使是阿里这样的顶尖公司也不例外,如何尽可能的让系统可用、数据可靠是一个经久不衰的问题。 kafka消息在在流式数据的处理过程中发挥着非常关键的作用,它能同时接收百万级的消息写入。但是,如何保证消息不丢失、并且不被重复消费呢。这就要从kafka的架构以及核心机制进行分析。...

2020-04-07 23:59:49 292

原创 深入理解kafka核心原理,应用场景,kafka与RocketMQ、RabbitMQ之间的比较

kafka Kafka是使用jJava和Scale实现的一种高吞吐量的分布式发布订阅消息系统,较传统消息系统,Kafka是重量级的,它具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理应用程序。如日志处理,数据收集等海量流数据处理。基本概念Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker [5]Topic...

2020-01-09 22:05:29 102

原创 ElasticSearch 7.4的DSL查询——高级检索,复合检索,聚合检索

空搜索 ,返回集群索引中的所有文档http://192.168.1.135:9200/_search/ 查询结果中的hits部分,total表示检索出的记录总数,还包含着查询的前十条记录增删改查,复合查询### 一、条件查询http://192.168.1.135:9200/score-statistics-2019.10/_search/查询mac为11010030333...

2019-12-30 23:23:30 607

原创 详解Dubbo服务初始化和服务调用过程中的细节

最近工作上在对Dubbo服务进行新旧版本迭代的过程中,经常需要进行Dubbo服务的注册和调用,藉此机会,顺便回顾下Dubbo服务初始化和服务调用过程中的细节。 Dubbo是基于Java的高性能RPC框架,服务初始化过程细节: 第一步,就是将服务装载容器中,然后准备注册服务。和spring中启动过程类似,spring启动时,将bean装载进容器中的时候,首先要解析bean。所以du...

2019-12-29 23:49:10 115

原创 logstash消费kafka消息并发送es

bin/logstash -f config/logstash.conf自动更新配置启动:./bin/lagstash -f configfile.conf --config.reload.automatic后台启动并自动更新配置利用nohup扔到后台运行。nohup /usr/local/ELk/logstash-5.1.1/bin/logstash -f /usr/lo...

2019-12-25 23:55:19 875

原创 从JDK1.8的JVM内存模型和GC剖析项目开发中常见的Java内存溢出及其解决办法

Java内存溢出是实际开发中比较常见的问题。想要合理的分配和利用内存资源,让应用程序更高效的运行,更好的利用系统资源,则需要对Java内存模型进行深入的理解。首先,我们先回忆下Java内存模型: JVM中内存通常划分为两个部分,分别为堆内存与栈内存,栈内存主要用运行线程方法存放本地暂时变量与线程中方法运行时候须要的引用对象地址。堆内存中存放的是全部的对象信息。相比栈内存,堆内存能...

2019-12-24 22:45:55 125

原创 MySQL数据库的体系结构详解,MyISAM和InnoDB存储引擎

MySQL是单进程多线程数据库它分为三层:第一层:网络连接层连接与线程处理,比如连接处理、授权认证、安全等。(通信协议,线程,验证)mysql的连接管理方式:Mysql-Server同时支持3种连接管理方式,包括No-Threads,One-Thread-Per-Connection和Pool-Threads。No-Threads:表示处理连接使用主线程处理,不额外创建线...

2019-12-22 23:46:39 206

原创 Nacos服务注册与发现配置

关于 spring-cloud-starter-alibaba-nacos-discovery 的 starter 配置项如下所示:配置项 Key 默认值 说明 服务端地址 spring.cloud.nacos.discovery.server-addr 无 Nacos Server 启动监听的ip地址和端口 服务名 spring.clo...

2019-12-19 23:40:03 902

原创 算法进阶——贪心算法、动态规划算法

贪心算法贪心算法主要适用于:局部最优策略能导致产生全局最优解。也就是当算法终止的时候,局部最优等于全局最优。它不是对所有问题都能得到整体最优解,选择的贪心策略必须具备无后效性,即某个状态以后的过程不会影响以前的状态,只与当前状态有关。所以对所采用的贪心策略一定要仔细分析其是否满足无后效性。实现/** * 会议类,需实现Comparable接口 */public class Me...

2019-12-19 23:37:42 89

原创 SpringBoot使用Sentinel实现资源的流量控制、熔断降级、系统负载保护

最近和别人合作的项目进入了交付阶段,需求方提出了项目流控和请求数据可视化的需求,因此我们在项目中引入了Sentinel为资源的流量控制、熔断降级、系统负载保驾护航。Sentinel具有以下特征:丰富的应用场景:Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。完...

2019-12-15 23:54:47 1216

原创 SpringCloud使用Feign注解@FeignClient服务调用报错IllegalStateException: RequestParam.value() was empty on param

Feign调用报错Error creating bean with name 'testController': Unsatisfied dependency expressed through field 'violationClientApi'; nested exception is org.springframework.beans.factory.BeanCreationExcep...

2019-12-06 23:10:56 136

原创 批量计算(batch computing)和流式计算(stream computing)在大数据领域的应用,Apache Storm、Apache Spark和Apache Flink

实时计算、离线计算、流式计算和批量计算分别是什么?有什么区别?大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中,流式计算和批量计算是两种主要的大数据计算模式,分别适用于不同的大数据应用场景。流数据(或数据流)是指在时间分布...

2019-11-26 23:41:33 1527 2

原创 SpringBoot打包报错Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:2.1.4.RELEASE

当不希望将SpringBoot打包成独立运行的jar,而只是当做工具jar包时,去掉启动类,打包报错:Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:2.1.4.RELEASE:repackage (repackage) on project plat-common: Execution repa...

2019-11-23 10:55:06 2546

原创 java中的设计模式——代理模式,通过动态代理实现AOP

代理模式的定义:为其他对象提供一种代理以控制对这个对象的访问。在某些情况下,一个对象不适合或者不能直接引用另一个对象,而代理对象可以在客户端和目标对象之间起到中介的作用。 动态代理: 举个简单的例子1. 模式的结构代理模式的主要角色如下。抽象主题(Subject)类:通过接口或抽象类声明真实主题和代理对象实现的业务方法。真实主题(Real Subject)类:...

2019-11-22 21:01:01 38

原创 Dubbo与SpringCloud Alibaba使用Nacos作为配置中心和注册中心

在工作当中,随着技术的迭代和项目的不断开发,Dubbo和SpringCloud Alibaba之间如何更好的整合调用是个很常见的问题,举个简单的小例子依赖: <!--config--> <dependency> <groupId>org.springframework.cloud</group...

2019-11-21 23:04:15 1599 1

原创 Logstash7.4实现Kafka消息、Beats、MySQL的数据收集、解析、转换和ElasticSearch存储的应用场景

ElasticSearch是个是一个分布式、可扩展、实时的搜索与数据分析引擎,如何将海量数据源高效可靠的写入到ElasticSearch是个无法避免的Logstash概念与原理Logstash 是开源的服务器端数据处理管道,能够同时从多个来源动态地采集、转换和传输数据到ElasticSearch的索引中,进而对数据进行分词、检索与分析,不受格式或复杂度的影响,它提供了丰富的过滤器库,如能利...

2019-11-13 23:45:20 987

原创 分布式消息中间件RocketMQ原理解析与集群模式实战

最近的项目开发中涉及到支付业务的模块需要用到MQ进行业务解耦以及把用户请求量削峰填谷,提高系统的可用性和可靠性,我们选择了RocketMQ来部署消息中间件集群,我也在此回顾和归纳下RocketMQ的相关知识。什么是RocketMQ阿里开源的分布式消息中间件,单机就能支持千万级的消息堆积,集群模式能满足海量消息堆积的场景RocketMQ的特点支持发布/订阅(Pub/Sub)和点对点(...

2019-11-11 00:04:56 139

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除