2019年10月_大飞哥2

原创 ps 查找进程，排除自己

通常我们在终端查找进程：~> ps ax |grep kex 69 ?? Ss 0:29.10 /usr/libexec/kextd13394 s013 S+ 0:00.00 grep --color=auto kex会显示自己：grep --color=auto kex如果需要排除grep本身的进程，可以利用-v 参数：~> ps...

2019-10-30 10:10:01 3091

转载 Kubernetes-蔚来汽车的Kubernetes实践

【编者的话】Kubernetes已经成为当下最火热的一门技术，未来一定也会有更好的发展，围绕着云原生的周边产物也越来越多，使得上云更加便利更加有意义，本文主要讲解一些蔚来汽车从传统应用落地到Kubernetes集群的一些实践经验，提供给大家在落地之前的一些思考和注意点，并且让大家在实施的时候能够有一些借鉴，提供一些使用过程中的注意事项。项目背景Docker诞生于2013年初，随着时间的推移...

2019-10-12 13:28:50 708 1

转载 linux free 命令

free 命令显示系统内存的使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。如果加上 -h 选项，输出的结果会友好很多：有时我们需要持续的观察内存的状况，此时可以使用 -s 选项并指定间隔的秒数：$ free -h -s 3上面的命令每隔 3 秒输出一次内存的使用情况，直到你按下 ctrl + c。(Ubuntu 16.04 中默认的 free 版本有...

2019-10-12 10:13:59 148

原创 kafka-集群安装

版本：centos 7 jdk8 zookeeper-3.4.10 kafka 1.0.0zookeeper-01.localdns 192.168.5.101 zookeeper-02.localdns 192.168.5.102 zookeeper-03.localdns 192.168.5.103 kafka-01.localdns 192.1...

2019-10-10 20:21:53 283

翻译 druid.io-架构设计介绍

架构设计Druid具有多进程，分布式架构，旨在实现云友好且易于操作。每种Druid进程类型都可以独立配置和扩展，从而为您的集群提供最大的灵活性。这种设计还提供了增强的容错能力：一个组件的故障不会立即影响其他组件。进程和服务器Druid有几种过程类型，下面简要描述：Coordinator进程管理群集上的数据可用性。 Overlord进程控制数据提取工作负载的分配。 broker程...

2019-10-10 20:06:23 279

转载 kubernetes-pod容器内获取客户端真实IP

使用externalTrafficPolicy: Local保留报文的源地址:1.1 nodePort类型kubernetes将在Pod所在Node上针对nodePort下发DNAT规则，而在其他节点上针对nodePort下发DROP规则。 client ^ / \ / / \ / v X node...

2019-10-10 20:01:14 2589 2

原创 prometheus-服务发现

为了能够动态服务发现，并自动加入prometheus的监控中，一般的方法有：使用consul + consul-template 中service 或 kv confd + etcd ，由于k8s已经有etcd,使用confd读取etcd中你想要的服务；自动读取k8s中的service, pod,container,node下面以kubernetes为例子：假设kuberne...

2019-10-10 19:46:40 860

原创 kubernetes-使用集群外部服务的方法

有时候，部分服务没有迁移到集群中，下面方法可以定义集群访问外部服务：方法1.定义外部服务地址：$ cat ext-svc.yamlapiVersion: v1kind: Servicemetadata: name: ext-svc namespace: defaultspec: externalName: 192.168.5.86 #（也可以使用域名的方式xxx....

2019-10-10 19:45:16 208

原创 kubernetes-记录一次使用kubectl logs 查询pod日志提示格式错误

今天想查询某个pod的日志，突然发现$ kubectl logs pod p-xxxxxxxxxxfailed to get parse function: unsupported log format: "\n"原因：由于之前发现容器的日志过大，如果在dockerd配置日志的大小，需要重启dockerd服务;之后为了不重启docker服务，采用了折中的方法，写了一个脚本，定时...

2019-10-10 19:44:19 9051

原创 kubernetes-给节点打标签

标签是附加到对象的键/值对。标签旨在用于指定对用户有意义且相关的对象的标识属性，但不直接暗示核心系统的语义。标签可用于组织和选择对象的子集。标签可以在创建时附加到对象，随后可以随时添加和修改。每个对象都可以定义一组键/值标签。每个Key对于给定对象必须是唯一的。给节点打上标签：# kubectl label nodes <node_name> key1=val1 key2=v...

2019-10-10 19:42:50 21507

原创 kubernetes-sidecar方式日志收集(filebeat->kafka)

version: filebeat:6.2.4容器日志的默认存储方式是：json-file1. docker 所有日志实际存放路径为：/var/lib/docker/containers/ ，日志文件的名称跟k8s的命名方式并没有关联；2. 为了方便管理（使用deployment,container的名称来命名日志），会创建一些links，指向日志实际存储路径 /var/lib/docke...

2019-10-10 19:41:32 2019

原创 kubernetes-node方式日志收集(filebeat->kafka)

version: filebeat:6.2.41. 准备filebeat 配置文件：$ cat filebeat.yml filebeat.registry_file: /var/log/containers/filebeat_registryfilebeat.prospectors:- paths: - "/var/log/containers/*.log" ...

2019-10-10 19:41:14 540

翻译 kubernetes-filebeat自动发现容器日志

version: filebeat 7.0.0自动发现在容器上运行应用程序时，它们会成为监视系统的移动目标。自动发现允许您跟踪它们并在发生变化时调整设置。通过定义配置模板，自动发现子系统可以在服务开始运行时对其进行监控。您可以filebeat.autodiscover在filebeat.yml 配置文件的部分中定义自动发现设置。要启用自动发现，请指定提供程序列表。提供商自动发现提...

2019-10-10 19:37:58 5971

原创 kubernetes-解决prometheus从错误的端口获取指标

版本：prometheus 2.2.11. 增加kubernetes pod 自动发现配置： - job_name: 'kubernetes-pods' kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernete...

2019-10-10 19:37:15 2547

原创 prometheus-常用的监控告警规则

常用的监控告警规则：1. 内存告警，当容器占用的内存大于节点内存的85% - alert: ContainerMemoryUsage expr: sum by(kubernetes_io_hostname) (container_memory_working_set_bytes{id="/"}) / sum by(kubernetes_io_hostname) (ma...

2019-10-10 19:36:13 3060

原创 prometheus-rules规则迁移(1.x->2.x)

prometheus 告警规则编写在1.x和2.x是不兼容的，如果把prometheus1.x升级到2.x 需要把告警规则使用新的格式重新编写一次。prometheus 2.x的alters rule使用yml格式，也提供了一个工具（promtool）来把1.x alter规则转换为2.x格式。1. 下载prometool工具该工具在prometheus2.x的release中可以找到...

2019-10-10 19:35:48 388

翻译 kubernetes-日志收集的几种架构

一、记录节点级别：一切集装箱应用程序写入stdout，并stderr进行处理，并通过集装箱引擎某处重定向。例如，Docker容器引擎将这两个流重定向到日志驱动程序，该日志驱动程序在Kubernetes中配置为以json格式写入文件。节点级日志记录中的一个重要考虑因素是实现日志轮转，以便日志不会消耗节点上的所有可用存储。Kubernetes目前不负责旋转日志，但部署工具应该设置解...

2019-10-10 19:35:23 201

转载 istio-流量管理API v1alpha3介绍

v1alpha3所有描述参数：https://istio.io/zh/docs/reference/config/istio.networking.v1alpha3/设计原则路由模型的重构过程中遵循了一些关键的设计原则：除支持声明式（意图）配置外，也支持显式指定模型依赖的基础设施。例如，除了配置入口网关（的功能特性）之外，负责实现入口网关功能的组件（Controller）也可以在模型...

2019-10-10 19:32:49 306

原创 istio-不能自动注入sidecar的解决方法

参考：https://github.com/opsnull/follow-me-install-kubernetes-cluster 使用二进制文件安装kubernetes,安装istio后，istio 不能自动注入sidecar.kubernetes 1.9 +istio 1.0以下是解决方法：1. kube-apiserver 增加 adminsion（MutatingAdmi...

2019-10-10 19:31:22 1592

原创 istio-1.0安装

安装参考：https://istio.io/zh/docs/setup/kubernetes/quick-start/注意的地方：1. 由于我们的k8s集群不支持外部LoadBalancer，所以需要把istio-ingressgateway 改为 NodePort方式：编辑istio-1.0.0/install/kubernetes/istio-demo.yaml.......

2019-10-10 19:30:55 210

原创 istio-一个简单的从外部访问集群内的nginx例子

1. 首先在集群内启动一个nginx服务$ cat ./nginx.yaml$ cat ./nginx.yaml apiVersion: v1kind: Servicemetadata: name: nginx labels: app: nginxspec: type: ClusterIP selector: app: nginx ports:...

2019-10-10 19:30:34 653

原创 istio-处理k8s服务的ExternalName不正确(bug)

istio-1.0.5 k8s服务的ExternalName处理不正确(bug)在k8s中创建一个外部服务：$ cat ./nginx-ext-svc.yaml apiVersion: v1kind: Servicemetadata: name: nginx-ext-svc namespace: defaultspec: externalName: 192.168....

2019-10-10 19:30:06 297

原创 istio-定制安装

建议使用helm 定制安装：参考：https://istio.io/zh/docs/setup/kubernetes/helm-install/1. 只使用流量管理功能：values.yaml 配置:global 不变gateways: enabled: true istio-ingressgateway: enabled: true istio-egres...

2019-10-10 19:29:14 159

kozazyh的专栏