weixin_42305433的博客

原创 Spark on K8S（spark-on-kubernetes-operator）常见问题（二）

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题（二）Spark的executor/driver怎么持久化日志Spark history server怎么配置生效Spark-operator namespace下的xxxxx-webhook是做什么的Spark Demo过程中的常见问题（二）S...

原创 Spark on K8S（spark-on-kubernetes-operator）常见问题（一）

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题Spark的executor/driver怎么持久化日志如何让Spark程序可以连接HDFS集群如何对hadoop的参数进行配置如何让executor/driver集中部署在不同的node上如何配置spark的运行参数关于kerberosSpark...

原创 Spark on K8S（spark-on-kubernetes-operator）环境搭建

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程环境要求基本原理环境安装kubernetes 1.13环境安装Spark-on-kubernetes-operator环境安装关于kerberos环境要求Operator Version：最新即可 Kubernetes Version: 1.13或更高 Spark Version：2...

原创 Kafka Leader、Partition、Topic、Consumer关系

先mark一下，回头再补充。

原创 indexR 笔记

原创 使用kubeadm安装Kubernetes 1.13（2）

2.3 安装Pod Network$ kubectl apply -f “https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d ‘\n’)”去掉docker的科学上网配置docker私仓/etc/docker/daemon.json{“insecure-registries”: ...

原创 使用kubeadm安装Kubernetes 1.13（1）

使用kubeadm安装Kubernetes 1.131.准备1.1 系统配置在安装之前，需要先做如下准备。两台CentOS 7.4主机如下：cat /etc/hosts192.168.61.11 node1192.168.61.12 node2如果各个主机启用了防火墙，需要开放Kubernetes各个组件所需要的端口，可以查看Installing kubeadm中的”Check re...