「已注销」-CSDN博客

原创成功运行处于CrashLoopBackOff异常状态的kube-controller-manager，错误为Back-off restarting failed container

本来之前搭建好了k8s集群，然后之前的镜像存放在docker的默认目录——/var/lib/docker(这个目录是系统盘的目录)。因为之后要把容器化的应用部署在k8集群上，如果不修改docker镜像的存放位置，那么系统盘的空间肯定不够用，所以将docker镜像存放在数据盘上。我把docker镜像转存到数据盘的过程是这样的：1、停掉了docker服务2、先把docker默认目录即/var/lib/docker下的文件先拷贝到了新的目录下，然后我就把/var/lib/docker下的文件删除了(之后的流

2020-07-26 22:53:54 10660 3

原创 k8s集群安装部署(高成功率)及Dashboard部署

之前看了一些容器

2020-07-26 12:34:14 2738 2

原创 kubeadm init初始化k8s集群时报错，[kubelet-check] Initial timeout of 40s passed.

在使用kubeadm init初始化k8s集群中的master主节点时，总是出错。这个地方卡了我很长时间，遇到了好几个不一样的错误，有的问题在网上也没有找到什么有效的解决方案，所以特此记录一下。以下错误均是在使用kubeadm init语句初始化k8s集群过程中出现的问题。第一次初始化集群时，我的初始化master节点kubeadm init语句为：kubeadm init --kubernetes-version=v1.10.0 \--apiserver-advertise-address=50.

2020-07-25 18:40:23 58184 31

原创 k8s(Kubernetes)集群部署Dashboard

最近在接触容器相关的东西，于是自己基于2台服务器部署了Kubernetes(即k8s)集群，有关k8s集群的完整部署流程在我的另一篇博客中有介绍，有需要的朋友可以浏览下面的这篇博客。在k8s部署完成后，我打算使用dashboard来管理k8s集群。dashboard就是k8s集群的web UI界面，通过可视化的方式方便用户管理集群、管理容器，还可在集群中部署容器化的应用。先介绍以下自己的安装环境：CentOS7.6Docker18.6Kubernetes1.14在部

2020-07-25 10:43:17 2332

原创 k8s集群中coredns的pod处于ContainerCreating状态，Failed to create pod sandbox:...dial unix /var/run/cilium/...

之前我搭建好了一个k8s集群，然后实验室的另一组服务器的k8集群的网络配置有点儿问题，于是我就研究了一下这个集群。使用kubectl get all --all-namespaces命令查看集群中pod的信息。我自己之前搭建好的集群中所有命名空间中pod的状态信息如下：可以看到所有pod的状态都是Running状态，这样集群内的网络配置没有什么问题。实验室中另一组服务器上集群的情况如下：可以看到这里有3个pod的状态处于ContainerCreating状态，并没有成功运行。因为我对cal

2020-07-25 01:03:20 4716 1

原创有关Hive中hiveServer2和metastore的启动，以及Spark项目中resources中的配置文件添加

因为自己在配置Mysql作为Hive的metastore(元数据库)时，遇到了很多的问题，Mysql和Hive的整合过程网上资源很多，这里我就放一下我的配置文件hive-site.xml，亲测可用：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>j

2020-06-14 10:43:23 670

原创取出RDD中每一个字段的值，利用DataFrame.collect()方法实现数据的筛选存储

package com.test.spark.Spark2Hiveimport com.sun.org.apache.xalan.internal.xsltc.compiler.util.IntTypeimport org.apache.spark.sql.functions.descimport org.apache.spark.sql.{Row, SaveMode, SparkSession}import org.apache.spark.sql.types.{DataType, StringT

2020-06-14 09:09:51 2935

原创 Spark读取本地文件以及读取HDFS文件系统上的文件

使用Spark读取HDFS文件时没有什么问题，只要把读取的路径设置为HDFS文件系统中文件的位置即可，可是在读取本地文件时(比如读取E:/file/user.json，E盘中的user.json文件时却总是报错)。先展示正确的操作方法，import org.apache.spark.sql.{SQLContext, SparkSession}object ReadJson { //Spark SQL读取json文件 def main(args: Array[String]): Unit = {

2020-06-03 08:45:27 4828 1

原创 X-shell连接Centos7上的虚拟机失败以及虚拟机ping不通外网

由于自己的网卡驱动有问题，所以自己的笔记本经常会出现检测不到无线网络或者无线网络突然断开的情况，在之前没有使用虚拟机的时候我直接使用网络方面的修复工具或者其他途径更新与更新驱动，然后重启机器能正常联网。不过，今天的情况有些特殊，实际上这种情况出现了好几次了。就是，自己通过某些工具对网卡操作时，Xshell突然连接不上虚拟机了。问题解决的前提：自己的虚拟机之前是配置好的，并且虚拟机对应的最好是静态IP(方便使用吧，不然每天变来变去的，使用起来也不太方便)，所出现的情况是"Xshell突然联系不上虚拟机",

2020-06-01 08:47:23 578

WinterPirates的博客