ruth13156402807的博客

cobra库:基于cobra-cli命令行生成项目结构一、新建go项目在F盘创建文件夹cobra-started1、使用mod对go项目进行管理go mod init cobra-started二、使用cobra-cli代码生成参考：https://github.com/spf13/cobra-cli/blob/main/README.md1、设置 GOPROXY代理PS F:\k8s\cobra-started> $env:GOPROXY = "https://proxy.gola

前言Kubernetes中的etcd访问。正常安装了k8s，没有特意去安装etcd，利用K8s中附带的etcd，感受一下etcd的读写操作。提示：以下是本篇文章正文内容，下面案例可供参考一、etcd是什么？etcd是一个分布式的key-value存储数据库。二、使用步骤1.在k8s查看安装好的etcdkubectl get pod -n kube-system | grep etcd2.进入k8s的etcdkubectl exec -ti etcd-s205 -n kube-syste

使用Prometheus全方位监控K8s1、Prometheus架构Prometheus Server：收集指标和存储时间序列数据，并提供查询接口ClientLibrary：客户端库Push Gateway：短期存储指标数据。主要用于临时性的任务Exporters：采集已有的第三方服务监控指标并暴露metricsAlertmanager：告警Web UI ：简单的web控制台数据模型：数据存储为时间序列；具有相同度量名称以及标签属于同一个指标。每个时间序列都由度量标准名称和**一组键值对

Prometheus + Grafana 监控DockercAdvisor(Container Advisor)：用于收集正在运行的容器资源使用和性能信息k8s中kubelet自带cadvisor监控所有节点参考：https://github.com/google/cadvisor#在被监控主机(客户端)上部署cAdvisor，IP地址：192.168.1.102[root@nod ~]# docker run --volume=/:/rootfs:ro --volume=/var/run

Pod1、Pod基本概念（1）最小部署的单元（2）包含多个容器(一组容器的集合)（3）一个pod中容器共享网络命名空间（4）pod是短暂的2、Pod存在意义（1）创建容器使用docker，一个docker对应一个容器，一个容器有进程，一个容器运行一个应用程序。（2）Pod是多进程设计，运行多个应用程序一个Pod有多个容器，一个容器里面运行一个应用程序（3）Pod存在为了亲密性应用两个应用之间可以进行交互网络之间调用两个应用需要频繁调用3、Pod实现机制共享网络：通过Pau

controller（控制器）1、什么是controller（1）在集群上管理和运行容器的对象2、Pod和controller关系（1）Pod是通过Controller实现应用的运维，比如伸缩、滚动升级等（2）Pod和Controller之间通过Pod上打label标签和controller上的selector建立关系3、Deployment控制器的应用场景（1）部署无状态的应用（web服务，微服务）（2）管理Pod和ReplicaSet(副本创建)（3）部署，滚动升级4、yaml文件字

etcd:它是一个可信赖的分布式键值存储服务，它能够为整个分布式集群存储一些关键数据，协助分布式集群的正常运转。高可用集群副本数据最好是 >=3 的奇数个master节点：api server:所有服务访问的统一入口controller Manager:维持副本期望数目Scheduler:负责接收任务，选择合适的节点进行分配任务etcd:键值对数据库，存储k8s集群的所有重要信息（持久化）node节点：kubelet：直接跟容器引擎(Docker)交互实现容器的生命周期管理kube.

yaml文件k8s集群中对资源管理和资源对象编排部署都可以通过声明样式(YAML)文件来解决，也就是可以把需要对资源对象操作编辑到YAML格式文件中，我们把这种文件叫做资源文件清单，通过kubectl命令直接使用资源清单文件就可以实现对大量的资源对象进行编排部署了。YAML文件书写格式（1）YAML介绍YAML：仍是一种标记语言。为了强调这种语言以数据作为中心，而不是以标记语言为重点。YAML：是一个可读性高，用来表达数据序列的格式。（2）YAML基本语法使用空格作为缩进，通过缩进表示层级关

数据存储1、数据卷特性（1）Docker镜像由多个只读层叠加而成，启动容器时，Docker会加载只读镜像层并在镜像栈顶部添加一个读写层（2）如果运行中的容器修改了现有的一个已经存在的文件，那么该文件将会从读写层下面的只读层只读层复制到读写层，该文件的只读版本仍然存在，只是已经被读写层中该文件的副本所隐藏，即"写时复制"机制。数据卷意义关闭并重启容器，其数据不受影响；但删除Docker容器，则器改变将会全部丢失。“卷”是容器上的一个或多个“目录”，此类目录可绕过联合文件系统，与宿主机上的某个目

容器管理一、Docker基础概念及命令1、Docker指令的基本用法：docker + 命令关键字(COMMAND) + 一些列的参数docker info 守护进程的系统资源配置docker search Docker仓库的查询docker pull Docker镜像的下载docker images Docker镜像的查询docker rmi Docker镜像的删除docker ps 容器的查询docker run 容器的创建启动docker

镜像与仓库一、Docker镜像特征1、Docker镜像特性一容器创建时需要指定镜像，每个镜像都由唯一的标识Image ID，和容器的Container ID一样，默认128位，可以使用前16位缩略形式，也可以使用镜像名与版本号两部分组合唯一标识，如果省略版本号，默认使用最新版本标签(latest)镜像的分层：Docker的镜像通过**联合文件系统(union filesystem)**将各层文件系统叠加在一起。bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启

1、Linux Contrainer是一种内核虚拟化技术，可以提供轻量级的虚拟化，以便隔离进程和资源2、Docker是PAAS提供商dotCloud开源的一个基于LXC的高级容器引擎，源代码托管在GIthub上，基于go语言并遵从Apache2.0协议开源3、Docker设想是交付运行环境如同海运，OS如同一个货轮，每一个在OS基础上的软件如同一个集装箱，用户可以通过标准化的手段自由组装运行环境，同时集装箱的内容可以由用户自定义，也可以由专业人员制造。Docker三要素：仓库、镜像和容器1、Dock

Docker安装（RPM包方式）一、安装环境准备1、操作系统要求#1、查看内核版本[root@nod var]# uname -r3.10.0-957.el7.x86_64#2、查看操作系统版本[root@nod var]# cat /etc/os-release NAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7"PRETTY_NAME="CentOS Linux 7

iptables语法规则(二)SNAT策略的典型应用环境局域网主机共享单个公网IP地址接入InternetSNAT的策略原理源地址转换，修改数据包的源地址#-o:出口的网卡iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -o eth0 -j SNAT --to-source 218.29.30.31MASQUERADE ---------地址伪装，适用于外网IP地址非固定的情况iptables -t nat -A POST

安全防御常见的攻击手段拒绝服务已知漏洞口令破解欺骗用户常见的安全防御设备基础类防火墙IDS类（入侵检测系统），提供报告、事后分析IPS类（入侵防御系统），针对数据包分析，根据模式匹配，阻断非法访问主动安全类什么是防火墙工作在主机边缘处或网络边缘处对数据报文进行检测，并且能够根据事先定义好的规则，对数据报文进行相应处理的模块。防火墙的分类构造：硬件:深信服、网御、华为软件：windows防火墙、iptables工作机制：包过滤防火墙：源地址、目

iptables一、简介1、iptables内核：netfilter2、四表raw：数据包跟踪mangle：标记数据包nat：网络地址转换filter：数据包过滤3、五链PREROUTING：路由之前INPUT:数据包流入FORWARD:数据包经过OUTPUT:数据包流出POSTROUTING:路由之后执行顺序由上到下4、匹配条件协议：​ -p tcp​ -p icmp （仅有ping使用）​ -p udp端口：必须和协议一起写​ --dport 目标端

Hadoop HDFS操作命令创建一个文件夹 hdfs dfs -mkdir /myTask创建多个文件夹 hdfs dfs -mkdir -p /myTask1 /input1上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input查看总目录下的文件和文件夹 hdfs dfs -ls /查看myTask下的文件和文件夹 hdfs dfs -ls /myTask查看myTask下的wordcount.txt的内容 hdfs dfs -c

PyCharm远程连接Spark使用PyCharm连接远程服务器，总结一下完善的步骤。连接前一定要保证集群已经可以运行pyspark程序1、添加SFTP连接找到菜单Tool ->Deployment -> Configuration设置sftp点击左上角的+号，添加新的SFTP连接输入需要SFTP的名称， “testSpark”注意，不要勾选Visible only for this project。根据自己的需求填写host、username、password，然后点击Tes

pyspark设置python的版本一般情况下，spark内置的版本,与操作系统中的版本一致，现在想把python的版本切换成3的版本，步骤：1、查看操作系统中的版本[root@master local]# pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Type "help", "copyright", "credits" or "licen

使用spark提供的pyspark库来进行编写spark应用程序一、PySpark环境配置1.1windows中环境配置1、打开cmd2、输入pythonC:\Users\wangwch>pythonPython 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or "license