自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(169)
  • 收藏
  • 关注

原创 kubernetes 运维——v1.9.0 安装ingress-nginx-controller出错MountVolume.SetUp failed for volume “webhook-cert“

kubernetes 1.9.0 安装ingress-nginx-controller出错:MountVolume.SetUp failed for volume "webhook-cert" : secret "ingress-nginx-admission" not foundFailed to pull image "k8s.gcr.io/ingress-nginx/controller:v0.41.2@sha256:1f4f402b9c14f3ae92b11ada1dfe9893a88f0fa

2020-11-24 00:08:40 5

原创 Kubernetes基础篇——Pod以及Pod控制器应用

创建主容器为其必须的操作,初始化容器(init containter)、启动后钩子post start hook、存活性探测、就绪性探测、pre stop hook为可选执行。pause容器Pod总会处于以下几个相位(phase)之一: Pending:创建了pod资源并存入etcd中,但尚未完成调度,或扔处于从仓库下载镜像的过程 Running:Pod已经被调度到某节点,并且所有容器都已经被kubectl创建完成 Succeeded:Pod中的所有容器都已...

2020-11-23 23:04:36 7

原创 Kubernetes基础篇——资源对象及其yaml方式描述

Kubernetes对象的概念在 Kubernetes 系统中,Kubernetes 对象 是持久化的实体。 Kubernetes 使用这些实体去表示整个集群的状态。它们主要描述了如下信息: 哪些容器化应用在运行(以及在哪些节点上) 可以被应用使用的资源 关于应用运行时表现的策略,比如重启策略、升级策略,以及容错策略kubernetes对象的类别资源对象的类别PodPod 是最小的可部署的 Kubernetes 对象模型。Pod 表示集群上正在运行的进程。一...

2020-11-18 18:21:01 13

原创 Kubernetes基础篇——kubernetes1.19.0架构原理与特性

kubernetes是谷歌开源的容器管理平台,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能核心组件Kubernetes主要由以下几个核心组件组成:etcd 保存了整个集群的状态;apiserver 提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制;controller manager 负责维护集群的状态,比如故障检测、自动扩展、滚动更新等;scheduler 负责资源的调度,按照预定的调度策略将Pod调度到相应的机器上;.

2020-11-17 18:27:22 37 1

原创 kubernetes运维——CentOS 7 部署Kubernetes 1.19.0 集群测试环境

1、准备三台测试机器安装centos7并配置好环境系统CentOS Linux release 7.8.2003 (Core)内存 2GCPU 双核磁盘 50G安装过程:[root@slave122 opt]# yum install -y kubelet-1.19.0 kubeadm-1.19.0 kubectl-1.19.0Loaded plugins: fastestmirrorLoading mirror speeds from cached hostfileCoul...

2020-11-16 19:49:34 58

原创 kubernetes运维——集群添加节点报错error execution phase preflight: couldn‘t validate the identity of the ……

在对kubernetes 1.19.0 集群扩容的时候报错失败,控制台打印信息如下[preflight] Running pre-flight checkserror execution phase preflight: couldn't validate the identity of the API Server: could not find a JWS signature in the cluster-info ConfigMap for token ID "9igmi0"To see

2020-11-13 10:38:44 38

原创 Flink编程模型详解

Flink 为流式/批式处理应用程序的开发提供了Stateful Stream Processing、DataStream/DataSet ApI 、Table API和SQL这四个不同级别的抽象,如下如所示:1、SQL这层抽象在语义和程序表达式上都类似于 Table API,但是其程序实现都是 SQL 查询表达式。SQL 抽象与 Table API 抽象之间的关联是非常紧密的,并且 SQL 查询语句可以在 Table API 中定义的表上执行。2、Table API以表(Table

2020-10-22 00:05:10 18

原创 Flink的滚动窗口、会话窗口、滑动窗口及其应用

Flink窗口

2020-10-13 23:53:11 234

原创 OLTP,OLAP以及HTAP的区别

OLTP,OLAP以及HTAP的区别本文链接:https://blog.csdn.net/ZG_24/article/details/87854982收起OLTPOn-Line Transaction Processing联机事务处理过程(OLTP)也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。这样做的最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real tim

2020-09-28 12:32:21 42

原创 Hive架构原理与实战——apache-hive-3.1.2+Mysql部署与配置

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行Hive特点它存储架构在一个数据库中并处理数据到HDFS。它是专为OLAP设计。它提供SQL类型语言查询叫HiveQL或HQL。它是熟知,快速,可扩展和可扩展的。Hive架构下面的组件图描绘了Hive的结构:该组件图包含不同的单元。下表描述每个单元: 单元名

2020-09-23 23:25:30 50

原创 HBase RIT异常分析及其解决方案, region(s)in transistion for more than 60000 milliseceonds

最近的一段时间,HBase集群突然出现了一些异常,偶尔部分机器会出现RIT的情况,

2020-09-20 23:21:22 100

原创 HBase-2.2.4 Shell操作指令和Java Api归纳

Shell 数据定义create: 用于创建一个表。create 'order','info','user'create 'userlog','info','params','result'list: 用于列出HBase的所有表。hbase(main):009:0> listTABLEorderuserlog2 row(s)Took 0.0088 seconds=> ["order", "userlog"]disable: 用于禁用表。h.

2020-09-16 23:48:21 16

原创 HBase-2.2.4架构原理与完全分布式使用

HBase的架构通过上图我们可以得出Hbase中的每张表都按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过 256M 就要被分割成两个,由 HRegionServer管理,管理哪些HRegion由HMaster分配。现在我们来介绍一下HBase中的一些组成部件以及它们起到的作用:Client:包含访问HBase的接口,并维护cache来加快对HBase的访问。Zookeeper:HBase依赖Zookeeper,默认情况下HBase管理Zookeeper.

2020-09-15 23:58:43 12

原创 HDFS架构与可靠性

Block数据块基本存储单位,一般为128M(Hadoop1.x默认64M,Hadoop2.x默认128M)基本的读写单位,类似于磁盘的页,每次读写一块每个块默认复制三分存储到多台机器NameNode存储文件的metadata,运行时所有metadata数据都保存到内存,因此整个HDFS可存储的文件数受限于NameNode的内存大小 一个Block在NameNode中对应一条记录(一般一个block占用150字节),如果是大量的小文件,会消耗大量内存。同时map tas...

2020-09-07 23:23:34 37

原创 Hadoop大数据生态系统测试环境构建——基于CentOS7.8部署Hadoop3.1.4集群

1、准备三台测试机器并配置好网络和免密登录, 配置4G 双核 500G ,系统 CentOS Linux release 7.8.2003 (Core)(如果觉得麻烦可以在虚拟机上搭建) ip和hostname分别是: 192.168.236.128 Master.Hadoop 192.168.236.129 Slave1.Hadoop 192.168.236.130 Slave2.Hadoop我们可以先简单试下有没有问题...

2020-09-04 12:07:53 116

原创 YARN资源调度中的细节探究

1. Job submission从ResourceManager中获取一个Application ID 检查作业输出配置,计算输入分片 拷贝作业资源(job jar、配置文件、分片信息)到HDFS,以便后面任务的执行2. Job initializationResourceManager将作业递交给Scheduler(有很多调度算法,一般是根据优先级)Scheduler为作业分配一个Container,ResourceManager就加载一个application master ...

2020-09-01 23:55:50 48

原创 深入理解主从Reactor多线程模型

Reactor主线程对象通过select监听连接事件,通过Acceptor处理连接事件当Acceptor处理连接事件后,主reactor将连接分配给从Reactor从Reactor将连接加入到连接队列进行监听,并创建handler进行各种事件处理当有新事件发生时,从reactor就会对用对应的handler处理...

2020-06-28 23:53:02 650

原创 kubernetes的dashboard报错unable to decode no kind Role is registered for version

dashboard报错unable to decode "https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml": no kind "Role" is registered for version "rbac.authorization.k8s.io/v1"unable to decode "https://raw.githubusercontent.com/kubernete

2020-06-15 23:51:01 724

原创 深入理解LSM存储模型

LSM(log-structed-merge-tree)

2020-05-27 23:56:34 137

原创 hbase/hadoop异常:No lease on /hbase/archive/data/... File is not open for writing

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 40 -bandwidth 300错误日志;org.apache.hadoop.hdfs.server.namenode.LeaseExp

2020-05-23 00:03:45 166

原创 BIO、NIO、AIO、同步、异步、阻塞、非阻塞和多路复用模型

IO、NIO、BIO、AIO、阻塞、非阻塞和多路复用

2020-05-13 20:52:43 124

原创 快速排序、归并排序、选择排序和插入排序的Java实现

快速排序 快速排序使用分治法(Divide and conquer)策略来把一个串行(list)分为两个子串行(sub-lists)。快速排序又是一种分而治之思想在排序算法上的典型应用。本质上来看,快速排序应该算是在冒泡排序基础上的递归分治法。在平均状况下,排序 n 个项目要 Ο(nlogn) 次比较。在最坏状况下则需要 Ο(n2) 次比较,但这种状况并不常见。事实上,快速排序通常明显比其他 Ο(nlogn) 算法更快,因为它的内部循环(inner loop)可以在大部分的架构上很有效率地..

2020-05-13 20:32:53 110

原创 红黑树的实现与应用

红黑树

2020-05-03 23:41:23 94

原创 SpringBoot自动配置实现平台核心服务自动加载

什么是自动配置 看下官方原文咋说的,Spring Boot auto-configuration attempts to automatically configure your Spring application based on the jar dependencies that you have added. For example, ifHSQLDBis on your c...

2020-05-01 23:02:54 112

原创 真的搞懂了网络七层协议吗?

真的搞懂了网络七层协议吗?

2020-04-30 23:38:32 127

原创 git 报错Could not read from remote repository. Please make sure you have the correct access rights an

最近在拉取github、gitlab中的项目时,git 报了这样的错误,错误很简单,但是也是常碰到的Warning: Permanently added the RSA host key for IP address '13.250.177.223' to the list of known hosts.git@github.com: Permission denied (publickey...

2020-04-28 00:02:25 133

原创 HBase海量业务数据二级查询实现毫秒级响应,HBase原理与数据模型设计详解

为什么需要使用HBase做海量业务数据的存储1、扩展性强、容量大,支持百亿行、百万列数据的存储。HBase底层基于HDFS,可动态增加节点2、高可靠性,WAL机制保证数据的安全性,Replication机制保证集群的数据容灾能力3、高性能,由于底层的LSM数据结构和RowKey有序排序,HBase具备较好的随机读取性能,RowKey的查询可达毫秒级响应4、稀疏性、面向列存储,空列不...

2020-04-27 23:29:03 217

原创 真的搞懂Mybatis原理了吗

Mybatis是一个开源的支持定制化 SQL、存储过程以及高级映射的半ORM框架它的底层操作封装了JDBC的API,工作原理以及核心流程与JDBC的使用步骤一脉相承首先弄清楚核心对象(1)SqlSession对象,该对象中包含了执行SQL语句的所有方法,类似于JDBC里面的Connection 。(2)Executor接口,它将根据SqlSession传递的参数动态地生成需要执行的S...

2020-04-26 23:52:39 66

原创 B+树

这个问题是我在看视频的时候老师提到的,虽然之前知道他们各自的索引结构但是还没有研究过原因。在网上一搜答案特别多。但是都特别的啰嗦。于是总结了这篇文章。一、B-树和B+树的区别很明显,我们要想弄清楚原因就要知道B-树和B+树的区别。为了不长篇大论。我们直接给出他们的形式总结他们的特点。1、B-树B-树是一种自平衡的搜索树,形式很简单:这就是一颗B-树。针对我们这个问题的最核...

2020-04-26 23:43:27 51

原创 Docker网络隔离模式和文件隔离系统详解

aufsaufs是一种实现了联合挂载(union mount)的文件系统,同unionfs类似,它能够将不同类型的文件系统透明地层叠在一起,实现一个高效的分层文件系统。说白了aufs就是能将不同的目录挂载到某一目录下,并将各个源目录下的内容联合到目标目录下,这里每个源目录对应aufs中的一层,用户在目标目录读写时,感觉不到此目录是联合而来的。aufs中的每一层都可以有不同的权限(只读,读写),...

2020-04-09 23:59:48 238

原创 重温IO中零拷贝技术实现的细节,Java对零拷贝的封装实现

什么是零拷贝?传统的IO零拷贝IO零拷贝的底层实现

2020-04-08 23:57:38 78

原创 kafka消息丢失和重复消费问题

消息如何保证可靠,是消息队列使用过程中非常重要的问题。我们都知道,在分布式系统中可用性是不可能达到百分百的,即使是阿里这样的顶尖公司也不例外,如何尽可能的让系统可用、数据可靠是一个经久不衰的问题。 kafka消息在在流式数据的处理过程中发挥着非常关键的作用,它能同时接收百万级的消息写入。但是,如何保证消息不丢失、并且不被重复消费呢。这就要从kafka的架构以及核心机制进行分析。...

2020-04-07 23:59:49 413

原创 深入理解kafka核心原理,应用场景,kafka与RocketMQ、RabbitMQ之间的比较

kafka Kafka是使用jJava和Scale实现的一种高吞吐量的分布式发布订阅消息系统,较传统消息系统,Kafka是重量级的,它具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理应用程序。如日志处理,数据收集等海量流数据处理。基本概念Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker [5]Topic...

2020-01-09 22:05:29 107

原创 ElasticSearch 7.4的DSL查询——简单检索、复合检索与高级检索

空搜索 ,返回集群索引中的所有文档http://192.168.1.135:9200/_search/ 查询结果中的hits部分,total表示检索出的记录总数,还包含着查询的前十条记录增删改查,复合查询### 一、条件查询http://192.168.1.135:9200/score-statistics-2019.10/_search/查询mac为11010030333...

2019-12-30 23:23:30 626

原创 详解Dubbo服务初始化和服务调用过程中的细节

最近工作上在对Dubbo服务进行新旧版本迭代的过程中,经常需要进行Dubbo服务的注册和调用,藉此机会,顺便回顾下Dubbo服务初始化和服务调用过程中的细节。 Dubbo是基于Java的高性能RPC框架,服务初始化过程细节: 第一步,就是将服务装载容器中,然后准备注册服务。和spring中启动过程类似,spring启动时,将bean装载进容器中的时候,首先要解析bean。所以du...

2019-12-29 23:49:10 122

原创 logstash消费kafka消息并发送es

bin/logstash -f config/logstash.conf自动更新配置启动:./bin/lagstash -f configfile.conf --config.reload.automatic后台启动并自动更新配置利用nohup扔到后台运行。nohup /usr/local/ELk/logstash-5.1.1/bin/logstash -f /usr/lo...

2019-12-25 23:55:19 984

原创 从JDK1.8的JVM内存模型和GC剖析项目开发中常见的Java内存溢出及其解决办法

Java内存溢出是实际开发中比较常见的问题。想要合理的分配和利用内存资源,让应用程序更高效的运行,更好的利用系统资源,则需要对Java内存模型进行深入的理解。首先,我们先回忆下Java内存模型: JVM中内存通常划分为两个部分,分别为堆内存与栈内存,栈内存主要用运行线程方法存放本地暂时变量与线程中方法运行时候须要的引用对象地址。堆内存中存放的是全部的对象信息。相比栈内存,堆内存能...

2019-12-24 22:45:55 144

原创 MySQL数据库的体系结构详解,MyISAM和InnoDB存储引擎

MySQL是单进程多线程数据库它分为三层:第一层:网络连接层连接与线程处理,比如连接处理、授权认证、安全等。(通信协议,线程,验证)mysql的连接管理方式:Mysql-Server同时支持3种连接管理方式,包括No-Threads,One-Thread-Per-Connection和Pool-Threads。No-Threads:表示处理连接使用主线程处理,不额外创建线...

2019-12-22 23:46:39 218

原创 Nacos服务注册与发现配置

关于 spring-cloud-starter-alibaba-nacos-discovery 的 starter 配置项如下所示:配置项 Key 默认值 说明 服务端地址 spring.cloud.nacos.discovery.server-addr 无 Nacos Server 启动监听的ip地址和端口 服务名 spring.clo...

2019-12-19 23:40:03 952

原创 算法进阶——贪心算法、动态规划算法

贪心算法贪心算法主要适用于:局部最优策略能导致产生全局最优解。也就是当算法终止的时候,局部最优等于全局最优。它不是对所有问题都能得到整体最优解,选择的贪心策略必须具备无后效性,即某个状态以后的过程不会影响以前的状态,只与当前状态有关。所以对所采用的贪心策略一定要仔细分析其是否满足无后效性。实现/** * 会议类,需实现Comparable接口 */public class Me...

2019-12-19 23:37:42 91

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除