- 博客(84)
- 收藏
- 关注
RSS订阅原创 HDFS升级和回退
从上图可以看出，升级、回滚、提交都不可能一下完成，这也就是说，在HDFS系统出现故障时，集群可能处于上图右侧图中某一个状态中，特别是在分布式的各个节点上，甚至可能出现有些节点已经升级成功，但有些节点可能处干中间状态的情况，所以Hadoop采用类似于数据库事务的升级机制也就很容易理解了。需要注意的是，在对一个集群执行升级完成操作之前，删除那些升级前就已经存在的文件并不会真正地释放DataNode上的磁盘空间。在升级Hadoop软件之前，检查是否已经存在一个备份，如果备份存在，可执行升级完成操作删除这个备份。
2024-11-05 21:38:16
220
原创 Kubernetes运行大数据组件-设计思路
共享文件主要为多客户端共同读写一个目录，在Kubernetes上可供选择的最简单的为NFS存储，我们将一个NFS共享目录注册为Kubernetes下的多对PV&PVC，分别挂载到需要共享的服务目录下。配置"affinity"(亲和性)和"podAntiAffinity"(pod反亲和)使得数据pod(datanode)和计算pod(nodemanager)不会分布在相同的节点上；配置"nodeSelector"和"tolerations"使得对应角色的pod调度到特定的节点上，类似于CDH部署时角色定义；
2024-10-25 09:38:00
755
原创 spark on kubernetes运行测试
通过Client提交spark任务到kubernetes apiserver；kubernetes上启动spark driver Pod作为spark master角色；spark driver通过sa账户创建spark exec pod来运行任务；无论spark driver还是spark exec都是通过kubernets scheduler调度完成分配的；运行任务完成后自动删除spark exec pod，spark driver状态变为completed。
2024-10-24 22:20:06
508
原创 rootless模式下istio ambient鉴权策略
在rootless模式下的kind k8s集群，兼容istio ambient鉴权策略设置。
2024-10-18 17:44:55
585
原创 rootless模式下测试istio Ambient功能
rootless模式下的kind k8s兼容istio ambient模式应用的链路观测。
2024-10-16 11:41:33
794
原创 docker rootless模式和基于kind的k8s测试环境
1. docker-rootless服务通过systemctl --user管理，服务定义位置~/.config/systemd/user/docker.service2. docker配置文件~/.config/docker/daemon.json（需要自己创建配置）3. docker数据目录~/.local/share/docker4. docker-rootless模式可以直接兼容kind创建k8s集群5. 支持基本的pod运行和服务访问（复杂的待测试）
2024-10-14 15:11:30
1223
原创 kubernetes存储类迁移-备份恢复
kubernetes集群最开始使用了nfs作为存储，随着后续使用过程中数据量逐渐增加，nfs存储性能逐步出现不足，现增加了基于csi的分布式块存储后，需要对原有基于nfs存储类下的pv迁移到新的存储类下。
2024-01-09 17:20:42
493
原创 shell打印输出
文本颜色码：重置=0 黑色=30 红色=31 绿色=32 黄色=33 蓝色=34 洋红=35 青色=36 白色=37。背景颜色码：重置=0 黑色=40 红色=41 绿色=42 黄色=43 蓝色=44 洋红=45 青色=46 白色=47。printf输出可以定义格式替换符，支持%s %c %d %f，%-5s中的-表示左对齐，默认右对齐。还需要注意的是：echo输出的内容如果用单引号，则不会使用变量的值，按字面输出。输出格式：echo -e "\e[31m 红色 \e[0m"
2022-11-15 21:36:06
2584
原创 openstack使用CentOS-7-x86_64-GenericCloud.qcow2镜像用户问题
openstack使用CentOS-7-x86_64-GenericCloud.qcow2镜像用户问题
2022-10-14 16:36:43
1028
原创 kubernetes上使用vcluster虚拟集群
虚拟集群是完整的Kubernetes集群，运行在其他Kubernetes集群之上。与完全独立的“真实”集群相比，虚拟集群没有自己的节点池。但是它们可以在底层集群内调度工作负载，同时具有自己单独的控制平面。
2022-10-09 17:26:39
302
原创 operator-sdk+ansible构建应用自动化交付
官方地址https://sdk.operatorframework.iohttps://github.com/operator-framework/operator-sdk环境说明kubernetes v1.22.6+k0s (通过vCluster创建虚拟机集群，避免污染主集群。参考文档)kubectl v1.22.8operator-sdk v1.19.1docker-ce 20.10.12阿里云容器镜像服务测试应用架构#mermaid-svg-uUlw6ubEXUFZmeBC
2022-04-21 15:47:14
1427
原创 oracle关闭数据库的方式
关闭方式ABORTIMMEDIATETRANSACTIONALNORMALSHUTDOWN允许新的连接NoNoNoNo等待到当前所有的会话结束NoNoNoYes等待到当前所有的事务结束NoNoYesYes强制检查点和关闭文件NoYesYesYes只有在ABORT(人为或者异常)的情况下重启后需要恢复数据库在输入...
2022-04-11 14:32:00
44
原创 oracle连接用户管理
查看当前连接用户SQL> select sid,serial#,username,type from v$session where type = 'USER'; SID SERIAL# USERNAME TYPE---------- ---------- ---------- -------------------- 6 ...
2022-04-11 14:32:00
41
原创 oracle诊断文件
查询诊断文件路径SQL> col name for a22SQL> col value for a45SQL> set line 100SQL> select name,value from v$diag_info;NAME VALUE---------------------- ---------------------...
2022-04-11 14:32:00
48
原创 oracle用户授权sysdba
查看具有sysdba权限的用户SQL> col username for a10SQL> select * from v$pwfile_users;USERNAME SYSDBA SYSOPER SYSASM---------- ---------- ---------- ----------SYS TRUE TRUE ...
2022-04-10 17:59:00
103
原创 VMware vSphere监控和告警
背景vCenter本身有监控和告警功能，监控是针对独立资源的展示，邮件告警仅支持windows邮件系统，所以我们通过Prometheus实现对vSphere资源的监控和告警功能。技术架构：部署vmware-exporterGithub项目：pryorda/vmware_exporterapiVersion: v1kind: Secretmetadata: name: vmwa...
2022-03-12 18:50:00
297
原创 kind创建开发测试k8s集群
通过容器创建集群节点，可在单台机器上创建k8s集群内部基于kubeadm创建集群环境CentOS 8.2Docker-CE 18.06+内核：net.ipv4.ip_forward=1net.bridge.bridge-nf-call-iptables=1vm.swappiness=0安装kind通过二进制文件部署，下载后赋予可执行权限并移动到PATH下即可。li...
2022-03-12 18:38:00
55
原创 Cluster-API研究
概述Cluster API is a Kubernetes sub-project focused on providing declarative APIs and tooling to simplify provisioning, upgrading, and operating multiple Kubernetes clusters.将kubernetes集群作为资源，通过声明式的方...
2022-03-12 18:31:00
72
原创 磁盘IO监控分析
基本概念磁盘：为系统提供了最基本的持久化存储文件系统：在磁盘的基础上，提供了一个用来管理文件的树状结构索引节点和目录项：索引节点，简称为 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、数据的位置等。索引节点和文件一一对应，它跟文件内容一样，都会被持久化存储到磁盘中。所以记住，索引节点同样占用磁盘空间。目录项，简称为 dentry，用来记录文...
2022-03-03 08:18:00
44
原创 网络监控分析
实时流量监控工具：iftop功能：基于网卡的实时流量监控工具指定网卡的实时流量、端口连接信息、反向解析IP等精确显示本机网络流量情况及网络内各主机与本机相互通信的流量聚合作用：检测流量异常的主机迅速定位主机流量异常根源部署：centos: yum install iftop -yubuntu: apt install iftop -y常用的...
2022-03-03 08:18:00
127
原创 内存监控分析
虚拟内存我们通常所说的内存容量，比如 8GB，其实指的是物理内存。物理内存也称为主存，大多数计算机用的主存都是动态随机访问内存(DRAM)。只有内核才可以直接访问物理内存。Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以很方便地访问内存，更确切地说是访问虚拟内存。虚拟地址空间的内部又被分为内核空间和用户空间两部分，进程在用户态时，只能访...
2022-03-03 08:17:00
28
原创 进程监控分析
进程状态通过top和ps都可以获取到进程的状态，其中top的S列输出为进程状态，各自代表的含义如下：R 是 Running 或 Runnable 的缩写，表示进程在 CPU 的就绪队列中，正在运行或者正在等待运行；D 是 Disk Sleep 的缩写，也就是不可中断状态睡眠(Uninterruptible Sleep)，一般表示进程正在跟硬件交互，并且交互过程不允许被其他进程或中断打断...
2022-03-03 08:17:00
63
原创 CPU监控分析
相关工具名称初始安装说明uptime√显示系统运行时间和cpu负载情况top√可以实时动态地查看系统的整体运行情况htop×top高级版mpstat×多核cpu性能分析工具，实时查看每个cpu的性能指标，以及所有cpu的平均指标vmstat√查看系统的整体使用情况iostat×查看cpu和磁盘io使用情况pidst...
2022-03-03 08:16:00
32
原创 Linux后门入侵检测
rootkit简介Linux平台下的最常见的木马后门工具主要行为：替换系统文件，比如替换常用命令ls，一旦执行就等于在运行木马种类：文件级别、内核级别文件级别通过修改或者替换系统的重要文件来隐藏自己合法文件被木马程序替代，变成了外壳程序，内部隐藏了后门程序通常易被替换的系统程序：login、ls、ps、ifconifg、du、find、netstat、cd内核级别攻...
2022-03-02 20:43:00
53
原创 Linux系统安全配置指南
1. 更新系统更新系统和软件，可以修补部分已知的bug和漏洞# CentOSsudo yum makecachesudo yum update -y# 如果机器对内核有特俗要求不需要升级yum update --exclude=kernel* -y# Ubuntusudo apt updatesudo apt upgrade -y2. 账户相关注释不使用的用户和组#...
2022-03-02 20:43:00
45
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人