DANTE54的博客

原创 Kubelet-csi 原理架构图(粗略)

原创 kubefed的部分源码架构图

Kubernetes联邦集群的源码的部分架构图流程实在没空写了，如果有问题就留言把

原创 kubernetes glusterfs csi环境搭建

kubernetes glusterfs csi环境搭建(搭建失败)目前网络上提供的所有相关的资料都不能用了，gluster相关的git分支也被废弃了，然后官网文档里面也没有相应的介绍，enmmmmmmm????相关文档(以下文档皆已被废弃)：glusterd2搭建gluster-csi搭建如果有知道怎么用gluster-csi的朋友，辛苦告知一下把，非常感谢...

翻译 kubefed架构简介

KubeFed架构架构图逐条解释KindKindMeaningSubKindSubKindMeaningSubSubKindSubSubKindMeangingConfiguration配置类型配置(Type Configuration)KubeFed可以处理的API类型，比如FederatedDeployment等模版(Template)kubernetes的API 模版，这是一份统一的标准，也就是说如果没有override的话，在所有的Placement的集

原创 KubeFed环境搭建

kubernetes federation搭建前置要求软件以及版本需求软件版本kubernetes>= v1.13minikube(可用于替代kubernetes)只要安装的kubernetes版本同上即可(装最新的肯定没问题)helm>= 2.10kubefedctl这个kubefed版本选择即可docker看kubernetes需要的版本软件环境搭建docker环境搭建海外版本apt-get updateapt-get

原创 clickhouse集群小试

clickhouse集群设备需求clickhouse集群centos7/ubuntu6台（3 shard，2 replica）zookeeper集群centos7/ubuntu3台环境安装zookeeper集群搭建java准备下载jdk，并配置环境变量zookeeper准备下载zookeeper配置zookeeper建立zookeeper数据路径，实验所使用的配置路径是 /data/apache/zookeeper/zkdata/在数据路径下，创建my

原创 Kubernetes ceph-csi 环境搭建

在kubernetes上搭建ceph csi环境本文旨在说明如何在kubernetes集群中使用ceph-csi做kubernetes的存储，官方的搭建的说明ceph-csi环境搭建值得注意的是(官方的说明文档里面有)：ceph-csi使用的是RBD的默认kernel模块，这个模块可能不支持所有的Ceph CRUSH或者RBD镜像的特征。需要的环境kubernetes (实验中使用的是1.15版本)ceph 集群(实验中使用的是nautious版本)搭建过程创建一个ceph pool[r

原创 在Kubernetes中搭建ceph的StorageClass

在Kubernetes中搭建ceph的StorageClass搭建Ceph集群设备需求操作系统数量CPU内存CentOS72或者322G配置ssh互信配置3台设备的HostName以及hosts文件hostnamehostscephNode1/etc/hosts文件配置3台设备的IP和hostnamecephNode2/e...

原创 在kubernetes的pod中挂载glusterfs已经建立好的volume

在kubernetes挂载glusterfs的现存卷测试环境kubernetes集群，版本v1.15glusterfs集群，3台，centos7.3glusterfs集群的创建和卷的创建安装glusterfs组建# 三台设备都需要执行yum search gluster# yum -y install centos-release-gluster${你想要的版本}.noarc...

原创 Spark on kubernetes 外部文件系统

Spark on kubernetes 外部文件系统(存储系统)glusterfs篇搭建glusterfs环境我的glusterfs环境需求需求量设备数量3操作系统CentOS7.3hostname三台设备的hostname分别为glusterfs-spark-1,glusterfs-spark-2,glusterfs-spark-3安装glus...

原创 Spark on kubernetes 环境搭建

Spark on kubernetes环境搭建实验要求键值kubernetes集群版本1.15spark版本 2.4.5私建docker仓库已经被kubernetes集群的docker信任jdk1.8scala2.12构建kubernetes单机测试的话，可以使用minikube为每一台kubernetes节点，下载jdk和Sc...

原创 docker基于ubuntu构建镜像遇到的问题

构建基于ubuntu的docker镜像时遇到的问题问题描述使用的dockerfileFROM ubuntuRUN apt-get update && apt-get -y install vim遇到的问题E: Release file for http://security.ubuntu.com/ubuntu/dists/bionic-security/InRelea...

原创 docker flannel网络实验

docker flannel网络实验环境准备主机准备系统数量ubuntu16.043注意，三台设备都需要装dockercurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository "deb [arch=amd64] h...

原创 Unable to connect to the server: x509: certificate is valid for问题解决

关于外网设备访问一个advertise-address为内网IP的内网构建的kubernetes集群的问题问题描述问题原因解决方案问题描述将构建于内网网络环境上的kubernetes集群的/etc/kubernetes/admin.conf文件拷贝到外网的一台装有kubernetes客户端的设备上，文件内容放到外网设备的~/.kube/config文件中然后修改config文件中的serv...

原创 Spark standalone 与 GlusterFS 配合使用

Spark with glusterfs测试设备架构测试环境搭建过程搭建GlusterFS，测试环境中用的是两个节点做GlusterFS，备份数是两份搭建Spark Standalone环境，三台机器做Spark Standalone集群，其中每台GlusterFS上都要配置为Spark的Worker机三台Spark机器上都要挂载glusterfs的文件到同一个目录mount -t ...

原创 HBase业务代码在linux上执行的几种方式

HBase代码在linux上执行的几种方式Scala object的方式编译Scala Object文件export HBASE_CLASSPATH=`hbase classpath`scalac -classpath "$HBASE_CLASSPATH" ${用户的scala文件}# 注意，用户的scala文件中需要定义main函数 使用scala执行编译好的scala cl...

原创 Hadoop框架MapReduce客户端Job提交过程

Hadoop MapReduce 客户端提交Job的过程MapReduce WordCount的示例代码package MapReduceLearn.MapReduceLearn.Art;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configura...

原创 Spark 作业提交、分发、执行的大致流程

Spark on Yarn WordCount的执行流程本篇内容脚本提交篇SparkSubmit 类的main函数Spark WordCount的用户代码WordCount程序的执行流程创建SparkConf创建SparkContextSparkContext类图 ![SparkContext类图](https://img-blog.csdnimg.cn/20190702163232112.png...