cloudvtech的博客

一、前言

一、前言

test

test

一、前言

一、前言

一、前言

一、前言

一、前言airflow是airbnb家的基于DAG(有向无环图)的任务管理系统，是进行任务分割、调度处理的利器。在生产实践中，有业务部门需要使用airflow来进行大批量数据的分多阶段、阶段内高并发的处理；结合airflow的任务分割调度能力和Kubernetes的集群资源动态调配能力，就可以快速达到业务目标。转载自https://blog.csdn.net/cloudvtech二...

一、前言

一、前言Terasort可以测试Kubernetes平台对于Spark计算过程的如下需求的支持：从HDFS读取能力向HDFS写入能力shuffle中网络读写能力本文使用如下terasort的实现，包括TeraGen、TeraSort和TeraValidate：https://github.com/ehiggs/spark-terasort转载自https:...

一、前言通过hadoop的共享目录，可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。在此之前，先要保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录:hadoop fs -mkdir /eventLog转载自https://blog.csdn.net/cloudvtech 二、在Kubernetes安...

一、前言通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务。转载自https://blog.csdn.net/cloudvtech 二、安装环境和编译2.1 安装SBTcurl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repomv bintray-sbt-rp...

一、前言从版本2.3.0起，Spark开始支持使用Kubernetes作为native的资源调度器，现在Spark一共支持如下四种资源调度方式：Standalone Deploy Mode Apache Mesos Hadoop YARN Kubernetes现在使用Kubernetes作为原生调度器还只是一个试验功能，并且需要如下前提条件：Spark 2.3+ Kubern...

一、前言

一、前言根据文章《容器云的数据通道加速方案概览》的描述，借助Intel提供的vhost-user-net-plugin CNI，可以为基于Kubernetes的容器配置使用virtio前端和vhost-user后端的数据通道加速方案，vhost-user后端port可以由OVS-DPDK或者VPP提供。本文就将使用multus绑定flannel和vhost-user-net-plugin两种网络类...

一、前言Ceph是业界标准化的存储集成框架，支持多种底层存储，可以提供块存储、共享文件系统存储和对象存储，是Kubernetes存储标准化的未来集成方向。本文将基于Helm部署Ceph并向Kubernetes POD提供基于RBD的PVC转载自https://blog.csdn.net/cloudvtech二、安装前准备工作2.1 获取代码并打包成charthelm...

一、前言

一、前言istio是Kubernetes平台微服务管理的框架标准，是Service Mesh在Kubernetes平台的标准实现。相比于其它的微服务框架，istio提供非代码介入的框架机制，使用sidecar机制将微服务的服务面和管理面连接起来，而且使用的sidecar envoy是一个高效的proxy。Istio 辑上分为数据平面和控制平面。数据平面由一组以 sidecar 方式部署...

一、前言hive可以基于hadoop mr或者Spark进行高层次的数据处理。安装之前先保证hadoop的目录可以为root用户读写：hadoop fs -chown  root:root /转载自https://blog.csdn.net/cloudvtech 二、构建镜像2.1 下载依赖mkdir -p hive/image-buildcd hive/i...

一、前言kubevirt可以扩展kubernetes的功能以管理虚拟机，其架构见文章https://github.com/kubevirt/kubevirt/blob/master/docs/architecture.md在安装之前需要先做如下准备工作：安装libvirt和qemu软件包yum -y install qemu-kvm libvirt virt-ins...

一、前言Calico作为Kubernetes的CNI插件可以支持underlay和overlay模式的网络互联；在BGP信息的交互方式上也同时支持中心服务方式和grid mesh方式；但是Calico的基于underlay路由的网络模式要求网络基础设施对于BGP协议要有支持，所以在私有数据中心进行部署是最佳场景。当然由于在AWS也有Kubernetes的部署，AWS的技术人员也提到过AWS的虚...

一、前言mysql作为互联网LAMP技术栈中最老最坚固的基石之一，具有众多的集群解决方案，而galera是其中比较优秀的方案之一：Galera的特点：多主架构：真正的多点读写的集群，在任何时候读写数据，都是最新的。 同步复制：集群不同节点之间数据实时同步复制，在数据库挂掉之后，数据不会丢失。 并发复制：支持并行复制数据，更好的性能Galera缺点：由于同一个事务需要在...

一、前言在数据库领域，针对不同的业务需求，有不同类型的数据库方案，比如：关系型数据库，如Mysql、Oracle、DB2、Sqlserver 非关系型数据库 Key-Value数据库，如Memcached、Redis、MemcacheDB Document-based数据库，如MongoDB、CouchDB Column-based数据库，如Cassandra、HBase ...

一、前言Kubernetes通过namespace和serviceaccount进行粗粒度的资源和访问控制，通过role和rolebinding进行细粒度的控制。

一、前言Kubernetes支持NFS作为外部永久存储分配给容器使用，这种简易方式适用于小范围低强度的文件共享和持久化。为了使得NFS能够和Kubernetes进行云原生的结合，需要一个nfs-provisioner来进行粘合，比如nfs-client-provisioner。转载自https://blog.csdn.net/cloudvtech二、安装NFS服务器2.1...

一、前言在基于虚拟化的云系统中，网络虚拟化是不可或缺的关键部分。虚拟化的网络可以自由的在本地进行基于单机的网络配置或者借助一些互联技术(underlay、overlay或者点对点技术)在虚拟网络内部空间实现跨节点和数据中心的网络互联，但是如果虚拟网络内部的服务要对外进行暴露，就不得不借助地址转换或者端口转换等数据包修改技术。而在现有的container管理框架中，iptables更是承担了服务暴露...

一、前言在文章《kubernetes系列之十四：Kubernetes CRD(CustomResourceDefinition)概览》中，对于Kubernetes官方提供的CRD例子进行了分析，包括CRD的定义以及后端controller的实现。同时如下两篇文章也对k8s的controller进行了更详尽的分析和示例：A Deep Dive Into Kubernetes ControllersK...

一、前言在文章《kubernetes POD多网卡方案multus-cni之一：概览》中，可以看到通过配置multus，可以为一个POD配置多个网络接口。根据multus主页上的描述，现在可以使用kubernetes的CDR来配置network object，允许POD对网络进行选取，在POD deployment定义中，可以指定需要使用哪个或者那些multus所管理的网络，来满足这种根据POD功...

一、前言在生产环境下，为了保证安全性和性能，不同功能的网络进行隔离是一个必要的措施，比如管理网络、控制网络和数据网络的隔离(必要情况下，数据网络的data in和data out网络也要进行隔离)。这种隔离在物理机和虚拟机里面很容易实现，但是在POD里面，如果使用Kubernetes这样的容器云管理平台，则会面临一些限制，尤其是现在Kubernetes的POD默认还不支持多网卡设置，但是业界对PO...

一、前言macvlan是kernel新支持的特性之一，需要Linux kernel v3.9–3.19和4.0+的支持。这种模式所配置的container网络同主机网络在同一个LAN里面，可以具有和主机一样的网络能力。使用macvlan可以在主机的一个网络接口上配置多个虚拟的网络接口，这些网络接口有自己独立的MAC地址和IP地址。macvlan 下的container网络和主机在同一个网段中，共享...

一、前言OVS使用Linux内核自带的traffic-control机制进行流量控制以实现SDN QoS，一般的内核都会将"ingress qdisc"(Queueing Disciplines)编译在内。ingress_policing_rate这个网络接口最大的发包速率ingress_policing_burst最大发包率之外的额外发包能力，以应对突发流量Openshift由于使用OVS作为S...

一、前言ovs-multitenant模式与ovs-subnet模式相比，对每个project设置了VxLAN的VNID，只有在同一个project里面的POD发出的数据包只有打上一样的VNID，才能为这个project里面其它数据包接收。这为openshift的多租户模式提供了project级别的较粗粒度的网络隔离。在这种模式下，SDN进程需要监听Openshift project的加入和删除事...

一、前言Openshift基于OVS SDN的CNI网络方案中，存在一个SDN master节点，而Openshift的所有工作节点也都是SDN的工作节点。SDN工作节点在启动的时候先向master注册(建立etcd子节点)，master监控到这个节点注册信息之后，会为自节点分配一个子网写入到etcd该子节点下面，然后自节点利用这些信息在节点本地进行初始化配置：建立OVS bridge设备br0，...

一、前言Openshift可以看作是对于kubernetes和docker解决方案的更高级别封装，提供了PAAS解决方案级别的基础设施，包括：镜像构建和registry存储服务部署和暴露(Router)基于OVS SDN的overlay CNI实现更细粒度的权限控制(RABC)在我们的lagecy应用向容器云解决方案迁移的过程中，在使用kubernetes方案作为过度之后，最终使用了Openshi...

一、前言flannel作为一个container互联解决方案，不仅提供基于封装类型的互联技术，也提供基于路由技术的互联技术，比如host-gw模式。host-gw模式通过建立主机IP到主机上对应flannel子网的mapping，以直接路由的方式联通flannel的各个子网。这种互联方式没有vxlan等封装方式带来的负担，通过路由机制，实现flannel网络数据包在主机之间的转发。但是这种方式也有...

一、前言Kubernetes利用iptables达成以下两个目的：对外暴露POD和服务(通过host port、cluster service、node external IP、external load balancer、node port)简单的负载均衡在Kubernetes worker node的iptables的NAT表的prerouting和output 链表会出现如下规则作为kube...

一、前言IPVS是基于TCP四层(IP+端口)的负载均衡软件。IPVS会从TCP SYNC包开始为一个TCP连接所有的数据包建立状态跟踪机制，保证一个TCP连接中所有的数据包能到同一个后端。所以IPVS是基于TCP状态机进行控制管理，只感知TCP头而不对TCP的payload进行查看；因此，对IPVS后端服务器集群还有一个假定，那就是所有后端都具有同样的应用层的服务功能，但是由于IPVS可以给后端...

一、前言kubeadm是Kubernetes官方推出的快速部署Kubernetes集群工具，kubeadm通过将Kubernetes相关服务容器化以简化部署过程。在kubernetes 1.8以上的版本中，对于kube-proxy组件增加了除iptables模式和用户模式之外ipvs模式的支持。通过ipvs的NAT模式，对访问k8s service的请求进行虚IP到POD IP的转发。本文在kub...

一、前言CNCF的CNI是一个接口规范，这个规范定义了输入、输出的标准和调用的接口。只要调用CNI插件的实体遵守这个规范，就能从CNI拿到满足网络互通条件的网络参数(如IP地址、网关、路由、DNS等)，这些网络参数可以配置container实例。本文通过分析手动调用macvlan CNI的过程，了解CNI接口规范的运行模式。转载自https://blog.csdn.net/cloudvtech二、...