- 博客(369)
- 收藏
- 关注
RSS订阅转载 获取Kafka每个分区最新Offset的几种方法
目录 脚本方法 Java 程序 参考资料 脚本方法./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic testtest:0:1522test:...
2019-09-25 20:19:00
3650
转载 Wireshark使用入门
[TOC]1. Wireshark介绍1.1 客户端界面打开Wireshark后，能够看到三个区域。最上方是工具栏区域，可以开始捕获、停止捕获等操作。中间是Cpature Filter区域，能够在开始捕获前指定过滤规则。下方是可以捕获的网络设备，双击其中一个设备后就开始进行网络流量的捕获。结果的展示主要分三个区域，最上方是请求和响应列表，每一条记录表示一次请求或响应的交互。中...
2019-06-23 16:43:00
527
转载 Docker实现容器具有固定IP
Docker的网络类型Docker安装后，默认会创建三种网络$ docker network lsNETWORK ID NAME DRIVER SCOPE6bdc00ad2a8d bridge bridge locale373574073e...
2019-04-17 19:50:00
490
转载 Elastic{ON}参会随手记
Elastic{ON}同事送了一张Elastic{ON}的票，因为我们的产品中用到的ELK全家桶，实话说用的体量还挺大的，因此非常想去参加这次的发布会。7.0的新特性上午的会议是来自总部的一名工程师用英文讲了些ES的功能和应用场景，后来曾勇讲了一些7.0会带来的新的特性，主要是以下三个方面。Speed速度的提升从资料来看还是非常明显的。看下面这张图可以直观的感受到。速度提升...
2019-04-14 13:51:00
264
转载 Zookeeper学习笔记
目录 Zookeeper 介绍 Zookeeper的特点 常用操作 查看Server运行状态 客户端连接服务器 常用命令 ACL权限 四字命令 参考资料 Zoo...
2019-04-05 22:07:00
164
转载 Linux中的普通命令如何以管理员身份运行
set uid, gid, sticky bit 权限一个文件都有一个所有者, 表示该文件是谁创建的。同时, 该文件还有一个组编号, 表示该文件所属的组, 一般为文件所有者所属的组。如果是一个可执行文件, 那么在执行时, 一般该文件只拥有调用该文件的用户具有的权限，而setuid, setgid 可以来改变这种设置。想到一个通俗的解释说法，类似于Windows里的以管理员身份运行。...
2019-03-06 08:36:00
2833
转载 Kubernetes中资源配额管理
设置资源请求数量创建Pod的时候，可以为每个容器指定资源消耗的限制。Pod的资源请求限制则是Pod中所有容器请求资源的总和。apiVersion: v1kind: Podmetadata: name: requests-podspec: containers:- image: busybox command: ["dd", "if=/dev/zero", ...
2018-11-16 14:41:00
203
转载 Metadata获取的三种方式
本文的试验环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群0. Metadata每个Pod都有一些信息，包括但不限于以下的内容：Pod 名称Pod IPPod 所属的命名空间Pod 所在的 NodePod 对应的 service account每个容器的CPU、内存请求每个...
2018-11-05 19:47:00
2083
转载 Kubernetes中的Configmap和Secret
本文的试验环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群应用场景：镜像往往是一个应用的基础，还有很多需要自定义的参数或配置，例如资源的消耗、日志的位置级别等等，这些配置可能会有很多，因此不能放入镜像中，Kubernetes中提供了Configmap来实现向容器中提供配置文件或环境变量来实...
2018-11-01 08:32:00
174
转载 Kubernetes Ingress 学习
Kubernetes 中暴露服务的方式有三种Loadbalancer 这种方式往往需要云供应商支持，或者本地F5等设备支持NodePort 这种方式调用方通过NodeIP:NodePort 的方式访问服务，无法应对Pod发生迁移时的场景Ingress Ingress是Kubernetes中的一种资源，通过这种资源提供了外部访问内部服务的通路，实现上是通过一个Pod加NodePor...
2018-10-29 19:58:00
151
转载 Kubernetes基础：Service
本文的试验环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群Service 介绍我们通过Pod、Deployment等可以将应用发布到Kubernetes平台中，但是如果我们如何才能访问我们部署的应用呢？有一个办法就是通过节点的IP加上节点的端口来访问这个节点上的容器应用，但是如果我们有多个...
2018-10-23 13:22:00
151
转载 Taints 与 Tolerations
节点亲和性是描述Pods如何分配到一个或一组节点的策略，亲和性的相关资料可以参考Kubernetes中的亲和性与反亲和性。与亲和性规则不同， Taints 描述节点拒绝一个或一组Pods的策略。其实现原理为首先通过kubectl taint命令为Node定义一些瑕疵，然后在Pod的描述文件中指定它的容忍度，即不能够容忍哪些瑕疵，这样在调度的时候Pod将不会被调度到哪些有瑕疵的Node上。...
2018-10-09 11:27:00
254
转载 Kubernetes中的亲和性与反亲和性
通常情况下，Pod分配到哪些Node是不需要管理员操心的，这个过程会由scheduler自动实现。但有时，我们需要指定一些调度的限制，例如某些应用应该跑在具有SSD存储的节点上，有些应用应该跑在同一个节点上等等。截止到Kubernetes 1.11版本，节点亲和性的特性还是Beta阶段。nodeSelector首先我们为Node规划标签，然后在创建部署的时候，通过使用nodeS...
2018-09-29 13:30:00
145
转载 Kubernetes基础：编排调度的那些Controllers
0. 概述Kubernetes提供了很多Controller资源来管理、调度Pod，包括Replication Controller、ReplicaSet、Deployments、StatefulSet、DaemonSet等等。本文介绍这些控制器的功能和用法。控制器是Kubernetes中的一种资源，用来方便管理Pod。可以把控制器想象成进程管理器，负责维护进程的状态。进程掉了负责拉起...
2018-09-26 16:35:00
219
转载 Linux系统管理员应该知道的journalctl知识
在Systemd出现之前，Linux系统及各应用的日志都是分别管理的，Systemd开始统一管理了所有Unit的启动日志，这样带来的好处就是可以只用一个 journalctl命令，查看所有内核和应用的日志。1. 基础用法1.1 查看所有日志(默认显示本次启动的所有日志)[root@devops-101 ~]# journalctl查看本次启动的所有日志也可以使用[root@...
2018-09-21 11:10:00
270
转载 Go学习入门
1. 为什么要学习GoGo语言宣称为互联网时代的C语言，那她有那些特性值得我们必须学习呢：并行与分布式支持。除了我们日常熟悉的进程和线程，Go语言中提供了协程coroutine，从而简化了并行开发的难度。软件工程支持。这体现在很多方面，我觉得Go语言借鉴了Python的做法，通过代码风格规范进行强制统一，从而减少工程管理的难度。编程思想的变化。过去面向过程和面向对象是两大编程流...
2018-09-14 11:11:00
121
转载 [每天五分钟，备战架构师-11]数据库系统
数据挖掘 Data Mining数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。几年来随着大数据、人工智能技术的发展，数据挖掘迎来了一个小高潮，其发展离不开以下几项技术的支持：海量大数据收集与存储，ES、Hadoop为代表。强大的集群计算处理能力，以Spark、MapReduce为代表...
2018-09-11 17:42:00
107
转载 Kubernetes部署ELK并使用Filebeat收集容器日志
本文的试验环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群1. 环境准备Elasticsearch运行时要求vm.max_map_count内核参数必须大于262144，因此开始之前需要确保这个参数正常调整过。$ sysctl -w vm.max_map_count=262144也可以...
2018-09-10 18:25:00
1141
转载 [每天五分钟，备战架构师-10]数据库系统
事务管理事务是数据库系统运行的基本工作单位，相当于操作系统中的进程，事务具有ACID特性。从用户的角度来看，事务中的操作要么都做，要么都不做。原子性 Atomicity一致性 Consistency隔离性 Isolation，表示不能被其他事务干扰持久性 Durability，一旦提交改变就是永久性的处理并发控制 Concurrency多个用户对同一数据进行并发操作时，...
2018-09-05 13:53:00
142
转载 谈一下Docker与Kubernetes集群的日志和日志管理
本文的测试环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群日志对于我们管理Kubernetes集群及其上的应用具有非常重要的作用，特别是在出现故障或者Bug的时候。如果你能回答下面几个问题，那么可以不用再看本文了，如果不能回答，本文可能正好适合你。Docker都会产生哪些日志？Dock...
2018-08-30 10:49:00
445
转载 Docker修改daemon.json后无法启动的问题
本文的运行环境为Centos 7.3，Docker与Kubernetes的安装方式见kubeadm安装kubernetes V1.11.1 集群最近在整理Docker和Kubernetes中的日志与相关配置，在尝试通过/etc/docker/daemon.json配置Docker的log-driver参数，遇到了Docker无法启动的错误。配置信息如下{ "log-dr...
2018-08-30 09:05:00
3876
转载 Kubernetes命名空间
本文环境为Kubernetes V1.11，操作系统版本为 CentOs 7.3，Kubernetes集群安装可以参考 kubeadm安装kubernetes V1.11.1 集群1. 什么是NamespacesKubernetes中提供了命名空间，但是如果你的团队规模比较小并且集群规模也不大，完全可以不用Namespaces而使用labels来区分不同的资源，随着项目增多、集群...
2018-08-27 18:51:00
392
转载 Kubernetes中Pod的健康检查
本文介绍 Pod 中容器健康检查相关的内容、配置方法以及实验测试，实验环境为 Kubernetes 1.11，搭建方法参考kubeadm安装kubernetes V1.11.1 集群0. 什么是 Container Probes我们先来看一下Kubernetes的架构图，每个Node节点上都有 kubelet ，Container Probe 也就是容器的健康检查是由 kubel...
2018-08-23 09:28:00
368
转载 CoreDNS介绍
本文介绍 CoreDNS 相关配置以及验证方法，实验环境为 Kubernetes 1.11，搭建方法参考kubeadm安装kubernetes V1.11.1 集群busybox 的槽点开始之前先吐槽一下busybox中的nslookup命令。这个命令应该是实现的不是很完全，导致我在测试DNS的成功，得到了错误的信息。先来看一下[root@devops-101 ~]# kube...
2018-08-20 19:07:00
757
转载 Kubernetes基础：Pod的详细介绍
本文的演练环境为基于Virtualbox搭建的Kubernetes集群，具体搭建步骤可以参考kubeadm安装kubernetes V1.11.1 集群1. 基本概念1.1 Pod是什么Pod是Kubernetes中能够创建和部署的最小单元，是Kubernetes集群中的一个应用实例，总是部署在同一个节点Node上。Pod中包含了一个或多个容器，还包括了存储、网络等各个容器共享...
2018-08-08 10:48:00
741
转载 Kubernetes中StatefulSet介绍
StatefulSet 是Kubernetes1.9版本中稳定的特性，本文使用的环境为 Kubernetes 1.11。如何搭建环境可以参考kubeadm安装kubernetes V1.11.1 集群0. 介绍使用Kubernetes来调度无状态的应用非常简单，那Kubernetes如何来管理调度有状态的应用呢？Kubernetes中提供了一个StatefulSet控制器来管理有...
2018-08-02 16:06:00
593
转载 Kubernetes 存储系统 Storage 介绍
本文环境为Kubernetes V1.11，操作系统版本为 CentOs 7.3，Kubernetes集群安装可以参考 kubeadm安装kubernetes V1.11.1 集群容器中的存储都是临时的，因此Pod重启的时候，内部的数据会发生丢失。实际应用中，我们有些应用是无状态，有些应用则需要保持状态数据，确保Pod重启之后能够读取到之前的状态数据，有些应用则作为集群提供服务。这...
2018-08-02 11:03:00
315
转载 使用kubectl创建部署
本文使用自己利用VirtubalBox搭建的集群环境，暂时只有一个Master、一个Node。如果想了解集群的搭建，可以参考我的文章离线环境安装Kubernetes集群以及使用kubeadm安装kubernetes V1.11.1 集群。0. 目标在命令行下使用 kubectl 命令创建并管理部署。1. 检查环境检查本地的环境信息。[root@devops-101 ~]# ...
2018-07-25 14:38:00
371
转载 kubeadm安装kubernetes V1.11.1 集群
之前测试了离线环境下使用二进制方法安装配置Kubernetes集群的方法，安装的过程中听说 kubeadm 安装配置集群更加方便，因此试着折腾了一下。安装过程中，也有一些坑，相对来说操作上要比二进制方便一点，毕竟不用手工创建那么多的配置文件，但是对于了解Kubernetes的运作方式，可能不如二进制方式好。同时，因为kubeadm方式，很多集群依赖的组件都是以容器方式运行在Master...
2018-07-24 09:58:00
234
转载 [每天五分钟，备战架构师-9]数据库系统
数据操作和使用日常数据库使用过程中，离不开SQL语言。Structured Query Language由Boyce和Chamberlin在1974年提出，1975-1979年BIM San Jose Research Lab的关系型数据库管理系统原型 System R实现了这种语言。SQL-86是第一个SQL标准，后续的有SQL-89、SQL-92、SQL-99。现在大部分DBMS都...
2018-07-20 15:23:00
170
转载 离线环境下使用二进制方式安装配置Kubernetes集群
本文环境 Redhat Linux 7.3，操作系统采用的最小安装方式。Kubernetes的版本为 V1.10。Docker版本为18.03.1-ce。etcd 版本为 V3.3.8。1. 准备规划1.1 Node 规划主机名地址角色devops-101192.168.0.101k8s masterdevops-102192.168.0....
2018-07-19 11:15:00
293
转载 Kubernetes基础：查看状态、管理服务
目标了解Kubernetes Pod了解Kubernetes Node学习如何调试部署问题了解如何通过Service暴露应用Kubernetes Pods在Kubernetes中创建一个Deployment 部署就会在Node上创建一个Pod，Pod是Kubernetes中对于一组容器以及与容器相关的资源的集合。Pod中的容器会共享IP和端口资源。A Pod is a...
2018-07-17 13:36:00
1211
转载 Docker存出载入镜像
镜像的存出和载入如果你的生产环境不能连通互联网，而你又希望从互联网上获取镜像。你就需要借助 docker save命令，可以将镜像导出为 tar 文件。使用 docker load 命令，可以将tar文件导入镜像库。整个流程是这样的:存出镜像先用 docker images 查看本地的镜像，然后使用 docker save 可以将镜像保存为tar文件。$ docker imag...
2018-07-16 09:47:00
148
转载 [每天五分钟，备战架构师-8]数据库系统
对于IT从业人员，一定听到过数据库的概念。顾名思义，数据库系统就是管理数据存储的软件。本篇就软件等级考试相关的数据库系统知识从整体上进行总结，方便大家复习。1. 数据库管理系统的类型数据库系统有不同的分类方法（见下图），现代的数据库系统大多具有多用户、分布式的特点，因此最重要的区别就在于所采用的数据模型。对于关系型数据库比较出名的有Mysql、Oracle，对于层次性数据库典型的有I...
2018-07-13 14:56:00
153
转载 在Redhat 7.3中采用离线方式安装Docker
本文环境 Redhat Linux 7.3。Docker 18.写在前面Docker CE默认是不支持Redhat的，如果你想在Redhat安装，可以使用静态二进制包。这是我多次尝试RPM后得出的结论。使用这种方式安装，不支持32位的操作系统。这种方式仅仅是为了在测试环境能够运行Docker，真正的生产环境，建议大家还是使用Docker支持的操作系统或是选择企业版本。静态二进制...
2018-07-11 18:32:00
205
转载 [每天五分钟，备战架构师-7]网络操作系统
在当今互联网的环境下，基本上所有的操作系统都可以称得上是网络操作系统，大到主机系统、x86服务器系统、个人电脑操作系统，小到一些IOT设备，如智能电视、智能冰箱等等，这一篇就来复习一下网络操作系统相关的概念和内容。1. 类型和功能网络操作系统 Network Operating System NOS 是使网络上各计算机能方便而有效地共享网络资源，为网络用户提供所需的各种服务软件和有关...
2018-07-11 12:58:00
116
转载 Kubernetes基础
Kubernetes是什么Kubernetes是当今最流行的开源容器管理平台，它就是大名鼎鼎的Google Borg的开源版本。Google在2014年推出了Kubernetes，本文发布时最新的版本是1.11。Kubernetes源于希腊语，意为舵手，K8S是一个简称，因为首尾字母中间正好有8个字母。基于容器技术，Kubernetes可以方便的进行集群应用的部署、扩容、缩容、自愈机制...
2018-07-10 14:52:00
95
转载 [每天五分钟，备战架构师-6]作业管理
作业管理 Job Management用户角度：系统为完成一个用户的计算任务（或一次事务处理）所做的工作总和。系统角度：由程序、数据和作业说明书组成，系统通过作业说明书控制文件形式的程序和数据，使之执行和操作。操作系统控制作业进入、执行和撤销的一组程序称为作业管理程序。1. 作业控制与作业管理联机方式：通过直接输入作业控制命令，提交用户作业，运行用户作业。命令输入一种是交互式...
2018-07-07 13:10:00
107
转载 [每天五分钟，备战架构师-5]操作系统之文件管理
文件管理操作系统实现了对系统硬件资源和软件资源的管理，其中软件资源主要是各种系统程序、用户应用程序，还包括大量的文档材料，这些软件资源在操作系统中大多以文件的形式存储。文件系统是操作系统中组织、存取和保护数据的重要部分，文件管理的功能包括：创建、修改、删除文件，按文件名访问文件，决定文件信息的存放位置、存放形式和存取权限，管理文件间的联系以及对文件的共享、保护和保密等。1、文件和文...
2018-07-05 14:53:00
189
转载 [每天五分钟，备战架构师-4]操作系统之设备管理
设备管理设备管理是对计算机输入、输出系统的管理，这是操作系统最具有多样性和复杂性的部分，其主要任务是选择合适的设备进行数据传输，控制数据交换的过程，为用户提供透明的接口让用户不必关心设备的特性，为完成这些任务，需要提供的功能主要包括：缓冲区管理、设备分配、设备处理、虚拟设备管理、实现设备独立性等。设备类型系统设备的分类方法有很多种，比如说按有没有线分为有线设备、无线设备，具体的看...
2018-07-04 08:20:00
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人