cloudvtech的博客

关于容器化系统和容器云

排序：
默认
按更新时间
按访问量
RSS订阅

原 Kubernetes与大数据之五：在Kubernetes运行hive

一、前言 hive可以基于hadoop mr或者Spark进行高层次的数据处理。 安装之前先保证hadoop的目录可以为root用户读写： hadoop fs -chown  root:root / 转载自https://blog.csdn.net/cloudvtech   二、构...

2018-10-09 14:07:03

阅读数 564

评论数 0

原 kubernetes系列之十九：配置kubernetes使用kubevirt管理虚拟机

  一、前言 kubevirt可以扩展kubernetes的功能以管理虚拟机，其架构见文章 https://github.com/kubevirt/kubevirt/blob/master/docs/architecture.md 在安装之前需要先做如下准备工作： 安装libvirt...

2018-10-08 10:22:19

阅读数 1045

评论数 1

原 Kubernetes与大数据之四：基于Kubernetes的Spark运行Terasort(50GB data)

一、前言 Terasort可以测试Kubernetes平台对于Spark计算过程的如下需求的支持： 从HDFS读取能力 向HDFS写入能力 shuffle中网络读写能力 本文使用如下terasort的实现，包括TeraGen、TeraSort和TeraValidate： http...

2018-10-07 06:02:03

阅读数 176

评论数 0

原 Kubernetes与大数据之三：为基于Kubernetes的Spark安装History Server

一、前言 通过hadoop的共享目录，可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。 在此之前，先要保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录: hadoop fs -mkdir /eventLog 转载自...

2018-10-06 08:19:41

阅读数 251

评论数 0

原 Kubernetes与大数据之二：编译并运行基于Scalar的Spark程序WordCount

一、前言 通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务。 转载自https://blog.csdn.net/cloudvtech   二、安装环境和编译 2.1 安装SBT curl https://bintray.com/sbt/r...

2018-10-05 11:22:17

阅读数 263

评论数 0

原 kubernetes系列之十八：使用helm安装istio

一、前言 istio是Kubernetes平台微服务管理的框架标准，是Service Mesh在Kubernetes平台的标准实现。相比于其它的微服务框架，istio提供非代码介入的框架机制，使用sidecar机制将微服务的服务面和管理面连接起来，而且使用的sidecar envoy是一个高效的...

2018-10-03 07:06:48

阅读数 962

评论数 1

原 Kubernetes与大数据之一：使用Kubernetes scheduler运行Spark

一、前言 从版本2.3.0起，Spark开始支持使用Kubernetes作为native的资源调度器，现在Spark一共支持如下四种资源调度方式： Standalone Deploy Mode Apache Mesos Hadoop YARN Kubernetes 现在使用Kuberne...

2018-10-02 09:17:44

阅读数 494

评论数 0

原 DPDK系列之十六：Virtio技术分析之二，vhost技术对于virtio的增强

一、前言

2018-06-14 13:03:24

阅读数 876

评论数 0

原 DPDK系列之十五：Virtio技术分析之一，virtio基础架构

一、前言KVM可以使用Intel VT-x或者AMD-V虚拟化辅助技术，提高CPU虚拟化的效率；使用支持Intel EPT的平台上，可以提高内存虚拟化的效率；但是对于IO虚拟化，传统的方式是KVM使用qemu来模拟IO设备(网卡、磁盘、显卡等)，其效率比较低下。而通过paravirtualizat...

2018-06-13 10:05:41

阅读数 1687

评论数 0

原 DPDK系列之十四：在kubernetes运行Intel的vhost-user-net-plugin插件以支持dpdk

一、前言根据文章《容器云的数据通道加速方案概览》的描述，借助Intel提供的vhost-user-net-plugin CNI，可以为基于Kubernetes的容器配置使用virtio前端和vhost-user后端的数据通道加速方案，vhost-user后端port可以由OVS-DPDK或者VPP...

2018-06-12 09:10:48

阅读数 790

评论数 0

原 DPDK系列之十三：基于OVS-DPDK的容器数据通道分析

一、前言根据文章《DPDK系列之十一：容器云的数据通道加速方案概览》和文章《DPDK系列之十二：基于virtio、vhost和OVS-DPDK的容器数据通道》的分析，部署在物理机或者虚拟机上的容器可以有多种方案来进行数据通道的加速。而类似SR-IOV的方案需要特定NIC硬件的支持并且在容器迁移灾备...

2018-06-11 10:56:35

阅读数 424

评论数 0

原 DPDK系列之十三：容器基于OVS-DPDK的dpdkvhostuser端口的pktgen和testpmd数据包测试

一、前言

2018-06-10 08:01:19

阅读数 652

评论数 0

原 DPDK系列之十二：基于virtio、vhost和OVS-DPDK的容器数据通道

一、前言

2018-06-09 07:53:22

阅读数 1196

评论数 0

原 DPDK系列之十一：容器云的数据通道加速方案概览

一、前言

2018-06-08 10:27:05

阅读数 863

评论数 0

原 DPDK系列之十：qemu-kvm不同网络前端和后端网络性能对比测试

一、前言本文通过改变如下一些变量来对qemu-kvm不同的网络前端和后端的组合进行性能测试：- default qemu 1.5.3 vs qemu 2.11.0 - virtual NIC inside guest VM use virtio or e1000 - vNIC tx/rx queu...

2018-06-07 10:44:54

阅读数 398

评论数 0

原 DPDK系列之八：qemu-kvm virtio-net基于OVS-DPDK接入的网络性能测试

一、前言本文创建基于普通bridge的一对VM和基于OVS-DPDK的一对VM，并使用iperf进行网络性能测试，需要注意的是，在这两个测试中，虚拟机内部只是使用普通的virtio-net前端而不是DPDK。转载自https://blog.csdn.net/cloudvtech二、编译和安装qem...

2018-06-06 08:20:24

阅读数 627

评论数 0

原 DPDK系列之七：OVS-DPDK的在CentOS安装和测试

一、前言根据文章《DPDK系列之六：qemu-kvm网络后端的加速技术》，OVS-DPDK可以给虚拟机的部署密度和虚拟机网络性能的提升带来帮助。本文将介绍如何编译和安装DPDK以及如何使用DPDK提升网络性能：OS：CentOS 7.4.1708OVS：2.8.1DPDK：17.08.1转载自ht...

2018-06-05 14:32:16

阅读数 1124

评论数 0

原 DPDK系列之九：f-stack简介、安装和网络性能对比测试

一、前言

2018-06-04 07:21:10

阅读数 3091

评论数 1

原 kubernetes系列之十七：使用kops在AWS部署kubernetes并建立基于AWS Network Load Balancer的service

一、前言

2018-06-03 18:03:58

阅读数 1799

评论数 1

原 企业级负载均衡解决方案之九：AWS CLB/ALB/NLB

一、前言

2018-06-02 07:01:16

阅读数 2129

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭