- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CentOS7使用Minikube搭建单节点K8S测试环境（亲测可以）
环境准备：一台虚拟机，直接安装k8s部署安装的版本为：docker-ce-20.10.9和K8S-v1.16.41.# 替换 yum -y install docker-ce 为：yum -y install docker-ce-20.10.9 docker-ce-cli-20.10.9 containerd.io2.使用yum安装kubectl、kubeadm和kubeletcat >/etc/yum.repos.d/kubernetes.repo<<EOF[kube
2022-01-13 22:03:07
592
原创 YuniKorn资源调度的测试
在测试yunikorn之前，先梳理我们的需求：领导想自动管理租户使用的资源，如果是在物理机上我们可以使用yarn去做使用队列来进行细粒度的资源管理，但是我们的把计算资源部署在了k8s集群上，就没必要在使用yarn做资源管理，只有只用k8s自带的资源管理，但是我们发现不能满足我们最租户的资源管理，所以就找到了YuniKorn1.在查阅资料的时候，发现 YuniKorn可以在多租户的环境下有效的实现更细粒度的资源调度2.另一方面可以动态创建云原生的环境我比较关注的是第一点。下面我们一起.
2022-01-12 21:32:46
517
转载 flink-1.11 native k8s 测试
flink on k8s 目前有两种模式：Kubernetes：用户通过定义 flink 的 k8s 资源描述文件，由 kubectl 命令启动，最终以 standalone session cluster 或 standalone job cluster 模式运行。其中 standalone session cluster 运行多个作业；standalone job cluster 只运行一个作业。Native Kubernetes：用户通过 flink run 命令直接提交作业，由 flink 客
2022-01-12 14:47:33
960
原创 hadoop zdh2.7.3版本切换到开源2.7.3
最近有个需求需要把zdh版本的hdfs版本改成开源2.7.3版本的hadoop，我可以当作是一次普普通通的升级。1.停止hadoop相关服务2.可以对文件做个检查，也可以不做3.去到sbin目录下执行./stop_all.sh,停止所有服务4.修改环境变量换成新的开源版本的hadoop目录，新的开源hadoop配置文件，一定要指向旧的目录地址5.开始升级操作hadoop-daemon.sh start namenode -upgrade 启动namenode升级h
2022-01-12 09:35:56
723
转载 Spark中master、worker、executor和driver的关系
刚刚接触Spark的时候对这些概念没有好好思考，走马观花似的扫过去了，后面碰到master、worker、executor和driver的时候，也就没想太多，最近刚刚跑通了一个spark项目，准备好好研究一下程序的运行原理，却突然发现对于master、worker、executor和driver一知半解，对这些概念没有很好地理解，实在难以深入学习spark，于是，查了一些资料，做了一些简单的记载供后面的学习使用。首先说一句，master和worker是物理节点，driver和executor是进程。
2022-01-11 19:42:11
1501
1
原创 Spark的driver理解和executor理解
Driver:Driver即运行Application的main()函数，并且创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中由SparkContext负责与ClusterManager通讯，进行资源的申请，任务的分配和监控等。当Executor部分运行完毕后，Driver同时负责将SaprkContext关闭，通常SparkContext代表Driver.Spark Application的main方法（SparkContext相关
2022-01-11 19:35:59
1752
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人