docker
文章平均质量分 94
大数据老司机
专注于大数据智能运维和大数据开发领域优质创作者
展开
-
通过 docker-compose 快速部署 Flink 保姆级教程
Apache Flink 是一个开源的流处理框架,用于处理和分析实时数据流。它支持事件驱动的应用和复杂的事件处理(CEP),并且可以处理批处理任务。Flink 提供了高吞吐量、低延迟以及强大的状态管理和容错能力。它可以在各种环境中运行,包括本地集群、云环境和容器化环境(如 Docker 和 Kubernetes)。文末有Flink高吞吐量和低延迟:Flink 能够处理大规模的数据流,同时保持毫秒级的处理延迟。状态管理和容错:Flink 提供了强大的状态管理功能,允许在发生故障时从检查点或保存点恢复作业。原创 2024-04-14 00:09:58 · 1544 阅读 · 2 评论 -
通过 docker-compose 快速部署 EFAK 保姆级教程
EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息,并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。原创 2023-12-10 20:30:00 · 946 阅读 · 1 评论 -
通过 docker-compose 快速部署 Rancher 保姆级教程
Rancher是一个开源的容器管理平台,它为企业提供了一个简化容器化应用部署、管理和扩展的工具。Rancher提供了一套完整的容器服务堆栈,支持Docker和Kubernetes,并且可以在任何基础设施上运行,包括物理服务器、虚拟机、公有云和私有云。以下是Rancher多集群管理Rancher允许您集中管理多个Kubernetes集群、集群和独立的Docker容器。这使得在多云、混合云和多地理位置的环境中管理和部署容器化应用变得更加简便。用户和权限管理Rancher。原创 2023-11-26 18:18:03 · 1638 阅读 · 0 评论 -
容器日志采集的三种方式实战操作讲解(Filebeat)
Filebeat 是一个轻量级的开源数据采集器,通常用于从不同来源收集和发送日志和事件数据。在 Kubernetes 或 Docker 环境中,Filebeat 常用于采集容器的日志。原创 2023-11-12 18:30:00 · 1334 阅读 · 0 评论 -
通过 docker-compose 快速部署 Elasticsearch-Cerebro 保姆级教程
Elasticsearch-Cerebro(也称为 Cerebro)是一个针对 Elasticsearch 集群的开源管理和监控工具。它提供了一个直观的Web界面,允许您轻松地查看、管理和监控 Elasticsearch 集群。原创 2023-10-23 00:02:26 · 461 阅读 · 0 评论 -
通过 docker-compose 快速部署 Elasticsearch 和 Kibana 保姆级教程
使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以帮助您在本地或开发环境中轻松设置和管理这两个重要的工具,用于存储和可视化日志数据、监控和搜索。原创 2023-10-22 10:28:31 · 773 阅读 · 0 评论 -
Prometheus on k8s 部署与实战操作进阶篇
Prometheus是一种开源的监控和警报工具,用于收集和记录应用程序和系统的度量数据。它特别适用于在Kubernetes集群中监控容器化应用程序。Kubernetes集群中通常与Prometheus一起使用的组件是Prometheus Operator和Grafana。安装Prometheus Operator: Prometheus Operator是一种Kubernetes控制器,用于简化Prometheus的部署和管理。原创 2023-08-27 23:45:10 · 1831 阅读 · 1 评论 -
【大数据】通过 docker-compose 快速部署 MinIO 保姆级教程
MinIO 是一个开源的对象存储服务器,它兼容Amazon S3(Simple Storage Service)API。它被设计用于构建分布式存储架构,提供高可用性、高性能和可扩展的对象存储解决方案。原创 2023-06-25 21:00:00 · 6244 阅读 · 0 评论 -
【大数据】通过 docker-compose 快速部署 ClickHouse 保姆级教程
ClickHouse是一种高性能、列式存储的分布式数据库管理系统。它专注于快速数据分析和查询,并且在大规模数据集上表现出色。原创 2023-06-24 18:30:00 · 2179 阅读 · 0 评论 -
通过 docker-compose 快速部署 DolphinScheduler 保姆级教程
Apache DolphinScheduler(简称DolphinScheduler)是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。原创 2023-06-20 21:30:00 · 2385 阅读 · 2 评论 -
通过 docker-compose 快速部署 Apache Ambari 保姆级教程
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。原创 2023-06-18 18:30:00 · 1468 阅读 · 0 评论 -
通过 docker-compose 快速部署 StarRocks 保姆级教程
StarRocks是一个开源的分布式OLAP(在线分析处理)数据库,旨在提供高性能、低延迟的数据分析和查询能力。它最初由中国的猎豹移动公司(Cheetah Mobile)开发,并于2016年开源。列式存储:StarRocks使用列式存储,将数据按列存储在磁盘上,以提高数据的压缩率和查询性能。列式存储有助于减少I/O开销和提高数据扫描效率。分布式架构:StarRocks基于分布式架构设计,可以水平扩展以处理大规模数据集。它支持数据分片和分布式计算,可以将数据和计算任务分布在多个节点上并行处理。多维数据模型。原创 2023-06-12 20:30:00 · 2429 阅读 · 4 评论 -
通过 docker-compose 快速部署 Azkaban 保姆级教程
Apache Azkaban 是一个开源的批处理工作流调度系统,用于管理和调度Hadoop生态系统中的任务和作业。原创 2023-06-11 18:15:05 · 885 阅读 · 0 评论 -
通过 docker-compose 快速部署 HBase 保姆级教程
HBase是一个开源的NoSQL列式分布式数据库,它主要基于Hadoop分布式文件系统(HDFS)运行。HBase最初是由Facebook公司贡献,其基于Google的Bigtable模型开发,在强大的水平扩展性和高可用性的基础上,提供了可以扩展垂直规模的存储。HBase列式存储HBase采用列式存储的方式来存储数据,它使用HDFS作为底层文件系统,并把数据存放到HDFS中的多个Region中,每个Region能够存储多行数据。这种存储方式使得HBase可以支持非常大的数据量,并且具有更好的写性能。原创 2023-06-04 16:08:59 · 1293 阅读 · 0 评论 -
通过 docker-compose 快速部署 MySQL保姆级教程
MySQL是一种开源的关系型数据库管理系统(RDBMS),以其快速、可靠和易于使用而受到广泛的欢迎。MySQL使用SQL(结构化查询语言)进行查询、管理和操作数据。MySQL是一种跨平台的数据库,支持在各种操作系统(如等)上运行。MySQL数据库:指的是一个完整的数据集合,其中包含多个表。表:是一个数据实体的二维结构,在表中我们可以以行和列的形式来操作数据。列:表中一个字段的名称。行:表中的具体数据。主键:用于唯一标识表中的每一行数据的字段。外键:用于关联表之间数据的字段。索引。原创 2023-05-29 22:47:22 · 3986 阅读 · 0 评论 -
通过 docker-compose 快速部署 Redis 保姆级教程
Redis(全称:Remote Dictionary Server,即远程字典服务器)是一个开源的高性能键值数据库和缓存系统。Redis 的数据结构支持字符串、哈希表、列表、集合和有序集合等类型。同时,Redis 还提供了丰富的操作指令,例如 GET/SET、INCR/DECR、HGET/HSET、LPUSH/RPUSH、SADD/SMEMBERS、ZADD/ZRANGE 等。除此之外,Redis 还支持事务、过期时间、发布/订阅等特性,能够方便地实现各种高效的数据存储和读取方案。原创 2023-05-23 23:50:57 · 3210 阅读 · 0 评论 -
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
Kafka是由Apache基金会开发的分布式流处理平台,采用发布-订阅模式,支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法,可以在集群中存储大量的数据,并通过分区机制来实现数据的高可靠性和可扩展性。数据管道:在数据采集和分发过程中构建可扩展的流式数据管道,用于实时数据处理和分析。例如,数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。原创 2023-05-21 17:53:23 · 2253 阅读 · 0 评论 -
【中间件】通过 docker-compose 快速部署 Zookeeper 保姆级教程
Zookeeper是一个开源的分布式协调服务中间件,它提供了一种分布式数据管理服务,能够实现分布式锁、命名服务、配置管理、集群管理等功能,从而帮助用户构建高可用、高性能的分布式系统。以下是Zookeeper的一些主要特点和功能:分布式协调服务:Zookeeper具有完备的分布式协调服务,如分布式锁、leader选举、命名服务、配置管理等,可以帮助用户构建高可用、高性能的分布式系统。高可用性。原创 2023-05-20 17:14:45 · 1473 阅读 · 1 评论 -
通过 docker-compose 快速部署 Hive 详细教程
其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的,Hive 做为最常用的数仓服务,所以是有必要进行集成的,感兴趣的小伙伴请认真阅读我以下内容,通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务,方便小伙伴学习、测试、验证功能等等~通过 docker-compose 快速部署 Hadoop 集群详细教程通过 docker-compose 快速部署 Hadoop 集群极简教程。原创 2023-04-05 20:00:00 · 2464 阅读 · 0 评论 -
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:[通过 docker-compose 快速部署 Hadoop 集群详细教程]原创 2023-04-02 20:00:00 · 562 阅读 · 0 评论 -
通过 docker-compose 快速部署 Hadoop 集群详细教程
docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的,所以一般通过docker-compose部署的应用用于测试、poc环境以及学习等非生产环境场景。生产环境如果需要使用容器化部署,建议还是使用K8s。原创 2023-04-01 22:02:22 · 1439 阅读 · 8 评论 -
【云原生】k8s 离线部署讲解和实战操作
Kubernetes是一种高度可扩展的容器编排平台,可用于部署、管理和自动化容器化应用程序的运行。在某些情况下,离线部署Kubernetes可能是必需的,例如在没有互联网连接的安全环境中或在网络连接不可靠的情况下。获取Kubernetes二进制文件:从Kubernetes官网下载Kubernetes二进制文件并解压缩到本地。准备离线镜像:在离线环境中,必须将所需的容器镜像下载到本地并存储在本地仓库中。原创 2023-02-26 11:35:06 · 1827 阅读 · 2 评论 -
【云原生】Kubernetes PDB(Pod Disruption Budget)介绍与简单使用
Pod Disruption Budget (pod 中断 预算) 简称PDB,含义其实是终止pod前通过 labelSelector 机制获取正常运行的pod数目的限制,目的是对自愿中断的保护措施,主动驱逐Pod。Kubernetes version >= 1.7 才支持 PodDisruptionBudget。原创 2022-09-12 11:35:39 · 2679 阅读 · 0 评论 -
【云原生】Kubernetes 有状态应用程序控制器 Operator
Operator 概念是由 CoreOS 的工程师于2016年提出的,也是由 CoreOS 开发的,用来扩展 Kubernetes API,特定的应用程序控制器,它用来创建、配置和管理复杂的有状态应用,如数据库、缓存和监控系统。原创 2022-09-12 07:30:00 · 1412 阅读 · 0 评论 -
【云原生】Kubernetes CRD 详解(Custom Resource Definition)
本身是一种 Kubernetes 内置的资源类型,即自定义资源的定义,用于描述用户定义的资源是什么样子。CRD 是v1.7 +新增的无需改变代码 就可以扩展 Kubernetes API 的机制,用来管理自定义对象。它实际上是ThirdPartyResources(TPR) 的升级版本,而 TPR 已经在 v1.8 中删除。从 Kubernetes 的用户角度来看,所有东西都叫资源 Resource,就是 Yaml 里的字段 Kind 的内容,例如 Service、Deployment 等。原创 2022-09-11 14:05:24 · 3005 阅读 · 0 评论 -
【云原生】Helm 常用命令(chart 安装、升级、回滚、卸载等操作)
Helm 针对Kubernetes的Helm包管理器。helm search: 搜索charthelm pull: 下载chart到本地目录查看helm install: 上传chart到Kuberneteshelm list: 列出已发布的chart# 查看帮助 helm --helphelm version // 查看helm版本helm create xxx // 创建一个xxx chartshelm lint ./xxx // 检查包的格式或信息是否有问题。原创 2022-09-06 23:48:37 · 12449 阅读 · 1 评论 -
【云原生】Helm 架构和基础语法详解
我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是kubernetes的包管理器,helm仓库里面只有配置清单文件,而没有镜像,镜像还是由镜像仓库来提供,比如hub.docker.com、私有仓库。其实之前也写过关于helm的一篇文章【Kubernetes(k8s)包管理器Helm(Helm3)介绍&Helm3安装Harbor】,可能讲的不够细致,这里会更加细致的讲解helm。原创 2022-09-05 07:30:00 · 3448 阅读 · 0 评论 -
【云原生】K8s pod 动态弹性扩缩容 HAP(metrics-server)
(HPA,Pod水平自动伸缩),根据平均 CPU 利用率、平均内存利用率或你指定的任何其他自定义指标自动调整Deployment、ReplicaSet或或其他类似资源,实现部署的自动扩展和缩减,让部署的规模接近于实际服务的负载。HPA不适用于无法缩放的对象,例如DaemonSet。——CPU核 和 内存利用率指标。——例如网络利用率和流量。——特定对象的指标,比如Ingress, 可以按每秒使用请求数来扩展容器。——自定义监控,比如通过定义服务响应时间,当响应时间达到一定指标时自动扩容。原创 2022-09-04 07:30:00 · 2195 阅读 · 0 评论 -
【云原生】K8s pod优雅退出(postStart、terminationGracePeriodSeconds、preStop)
更新部署服务时,旧的 Pod 会终止,新 Pod 上位。如果在这个部署过程中老 Pod 有一个很长的操作,我们想在这个操作成功完成后杀死这个 pod(优雅关闭),如果无法做到的话,被杀死的 pod 可能会丢失一定的流量,或者外界无法感知到该 Pod 被杀死。特别是,如果我们有一个接收大量流量的 API,错误率在部署过程中会显著增加。这时就必须要设置一些预处理操作让pod的优雅退出,先来了解一下pod的生命周期。原创 2022-09-03 11:57:14 · 4749 阅读 · 0 评论 -
【云原生】k8s中volumeMounts.subPath的巧妙用法
有时,在单个 Pod 中共享卷以供多方使用是很有用的。属性可用于指定所引用的卷内的子路径,而不是其根路径。原创 2022-09-03 00:08:03 · 10203 阅读 · 0 评论 -
【云原生】Containerd ctr 和 crictl 客户端命令介绍与实战操作(nerdctl )
作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使用,只是大部分时候我们因熟悉Docker,在部署集群时采用了默认的dockershim。在V1.24起的版本的kubelet就彻底移除了dockershim,改为默认使用Containerd了,当然也使用适配器来将与 Kubernetes 集成。可以参考官方文档。......原创 2022-08-29 07:30:00 · 3238 阅读 · 0 评论 -
Kubernetes(k8s)——本地存储卷介绍与简单使用(emptyDir,hostPath,local volume)
存储卷,简称卷,卷是pod的一部分,卷在pod创建时创建,删除pod时卷也会被销毁,卷可以为pod中的所有容器使用,前提是所有容器都将卷挂载到容器里,卷可以挂载到容器的文件系统中的任意位置。一个pod可以定义多个不同类型的卷,一个容器也可以使用不同类型的多个卷。pod需要设置卷来源(spec.volume)和挂载点(spec.containers.volumeMounts)两个信息后才可以使用相应的Volume。......原创 2022-07-10 07:30:00 · 3585 阅读 · 0 评论 -
Kubernetes(k8s)API Server详解
文章目录一、概述二、K8s REST API 设计思想三、API 访问1)kubectl 命令行访问方式2)kubectl proxy访问方式3)curl访问方式(https)4)postman访问方式5)使用证书认证访问方式(https)四、通过API接口增删改查1)namespace2)Pod3)Node3)Service一、概述k8s API Server提供了k8s各类资源对象(pod,RC,Service等)的增删改查及watch等HTTP Rest接口,是整个系统的数据总线和数据中心。原创 2021-10-31 18:18:05 · 10059 阅读 · 1 评论 -
Kubernetes(k8s)包管理器Helm(Helm3)介绍&Helm3安装Harbor
文章目录一、概述一、概述helm是k8s的另外一个项目,相当于linux的yum,在yum仓库中,yum不光要解决包之间的依赖关系,还要提供具体的程序包,helm仓库里面只有配置清单文件,而没有镜像,镜像还是由镜像仓库来提供,比如hub.docker.com、私有仓库。helm提供了一个应用所需要的所有清单文件,比如对于一个nginx,我们需要一个deployment的清单文件、一个service的清单文件、一个hpa(Horizontal Pod Autoscaler:Pod自动弹性伸缩)的清原创 2021-10-24 00:01:32 · 6563 阅读 · 2 评论 -
Kubernetes(k8s)权限管理RBAC详解
文章目录一、简介二、K8s三种认证方式三、用户分类四、K8s权限控制(以ServiceAccount展开讲解)1)介绍2)Role和ClusterRole3)RoleBinding和ClusterRoleBinding1、Role角色绑定ServiceAccount2、ClusterRole角色绑定ServiceAccount五、实战1)User1、创建K8S 用户2、对用户授权2)Group1、创建K8S 用户和用户组2、对组授权3)ServiceAccount4)为ServiceAccount生成Tok原创 2021-10-16 00:39:47 · 8287 阅读 · 0 评论 -
Kubernetes(k8s)CNI(flannel)网络模型原理
文章目录一、概述二、常见的几种CNI插件介绍1)Flannel(本章讲解)2)Calico3)Romana4)Weave Nets三、Flannel 组件的解释四、Flannel网络通信原理实验1)同节点Pod之间的通信2)不同节点Pod之间的通信3)Pod与Service之间的通信一、概述Kubernetes 采用的是基于扁平地址空间的、非NAT的网络模型,每个Pod有自己唯一的IP地址。网络是由CNI(container network interface)插件建立的,而非K8S本身。二、常见原创 2021-10-10 18:43:59 · 2156 阅读 · 0 评论 -
Kubernetes(k8s)DNS(CoreDNS)介绍
文章目录一、DNS服务概述二、CoreDNS配置解析三、Pod的dns策略1)Pod dns策略2)测试解析结果四、测试CoreDNS1)pod验证2)创建service和Deployment来验证3)宿主机上解析域名验证一、DNS服务概述service发现是k8s中的一个重要机制,其基本功能为:在集群内通过服务名对服务进行访问,即需要完成从服务名到ClusterIP的解析。k8s主要有两种service发现机制:环境变量和DNS。没有DNS服务的时候,k8s会采用环境变量的形式,但一旦有多个ser原创 2021-10-09 00:59:18 · 13620 阅读 · 1 评论 -
Kubernetes(k8s)Ingress原理
文章目录一、概述1)LoadBlancer Service2)NodePort Service3)Ingress二、Ingress-nginx介绍1)Ingress-nginx组成2)Ingress-nginx工作原理一、概述Kubernetes 暴露服务的有三种方式,分别为 LoadBlancer Service、NodePort Service、Ingress。官网对 Ingress 的定义为管理对外服务到集群内服务之间规则的集合,通俗点讲就是它定义规则来允许进入集群的请求被转发到集群中对应服务上原创 2021-10-07 19:02:19 · 1955 阅读 · 2 评论 -
Kubernetes(k8s)kube-proxy、Service详解
文章目录一、kube-proxy简介二、Service 简介三、Service 类型1)ClusterIp(集群内部使用)2)NodePort(对外暴露应用)3)LoadBalancer(对外暴露应用,适用于公有云)4)ExternalName四、Service 工作流程五、Service, Endpoints与Pod的关系六、kubernetes服务发现1)环境变量2) DNS五、Service代理模式1)userspace模式2)iptables模式(默认模式)3)ipvs模型4)kube-proxy原创 2021-09-25 18:28:43 · 3350 阅读 · 0 评论 -
Kubernetes(k8s)Deployment、StatefulSet、DaemonSet、Job、CronJob五种控制器详解
一、简介一般情况下,我们并不直接创建 Pod,而是通过 Deployment 来创建 Pod,由 Deployment 来负责创建、更新、维护其所管理的所有 Pods。ReplicationSet(RS)和ReplicationController(RC)区别这里就需要说一下ReplicationSet(RS)和ReplicationController(RC),RS是在RC基础上发展来的,在新版的Kubernetes中,已经将RC替换为RS 了,它们两者没有本质的区别,都是用于Pod副本数量的原创 2021-09-18 00:21:46 · 5100 阅读 · 3 评论