王木头-CSDN博客

原创 kubenetes集群 Master证书更新

k8s集群采用3master架构，上层haproxy+vip做负载均衡，以下脚本需人工参与（也可提前检查，无需人工参与），并且，需在每个master节点上都执行（或者自己用except做远程执行脚本，或借助ansible远程执行）。脚本执行完，需人工查看证书状态及apiserver、controller manager、schedule无异常，确保更新无误。

2024-01-05 16:10:48 458

原创 Account locked due to X failed logins

业务管理平台上，配置了密码访问方式，修改机器密码后，没有修改此配置，平台频繁使用错误密码访问机器导致了此问题。加 -r 代表reset重置归零访问错误次数。机器到期改密码后，业务报错，服务无法启动。发现失败次数已经26000+次。业务监控页面显示服务未启动。

2023-04-24 17:51:45 3397 1

有台机器的磁盘容量2T，数据只有不到200G，但是磁盘缺出现不足的告警。2、在保留7天binlog的基础上，扩容1T磁盘，规避磁盘满故障风险。binlog日志过大，不过由于业务量多，属于正常现象。查看3天前的日志是哪个，将此文件以前的日志，都删掉。告警平台发出告警，数据磁盘使用量达到阈值。发现保留7天，仍然占用1.7T的日志。或者可以直接指定时间进行删除。1、删掉binlog日志。经判断，主从同步正常。

2023-04-10 19:18:07 1052

原创 hive Error SemanticException Unable to fetch table

而同库内其他表，其他库的表，均可以正常查询。hive的mysql元数据表内存在脏数据导致。问题发生的原因还没找到。

2023-04-10 18:43:20 865

原创 shell非整数运算

shell

2023-02-15 18:15:33 321

原创【Kafka】单分区单副本增加至多分区多副本

消费延迟处理

2022-11-24 21:28:27 1383

原创 Yarn pengding任务的原因之一：Reserved

这两个任务需要的资源非常大，由于map和reduce的内存设置是0（cdh默认根据container所需内存量自动分配内存大小），所以在map和reduce每个container所需内存较大（本案例是卡在map阶段），并且由于container数量多，每个节点上都有这样的container。然后需要根据受限资源和任务、数据量来评估大数据集群各参数的配置，做到最优配置，以及可以将任务在时间维度上分散，避免高峰压力，通过种种手段，避免资源不足带来的风险。资源扩容的原因，其实就是没有做好资源规划。

2022-11-15 17:44:40 1320

原创 Hbase regionserver频繁突然挂掉的问题处理

Hbase regionserver频繁挂掉问题处理

2022-11-10 17:46:17 2221

原创 node资源不足导致的pod pending状态

pod pending状态

2022-10-01 21:21:21 563

原创关于Nginx的漏洞扫描修复的解决方案

web相关漏洞修复

2022-09-21 18:27:46 2539

原创 linux shell 日志处理保留N天日志

背景非业务必须日志每日新增一个，大小约60G，解决这个问题需要做两点：1、短期方案：解决每日新增造成磁盘爆满的风险2、根治方案：业务代码层面判断是否需要这些日志，如果不需要则代码不再生成即可；如果需要则通过分布式大容量组件存储（hdfs、kafka等）。本方案解决短期方案解决1、写日志清理脚本通过shell脚本+crontab定时执行删除日志文件的逻辑。脚本名称：rizhiqingli.sh脚本位置：/export/scripts#!/bin/env bashBAOLIUWENJIAN

2022-04-26 15:49:20 2013

原创 Django项目引用settings文件中的变量

背景python 3.7.6django 2.2现象在项目的settings中，定义了一个变量，需要在代码中引用，如何做？# promethus地址PROMETHUS_PATH = "http://ip:9090"解决在代码中引用setttings中变量的方式：import osfrom django.conf import settingsos.environ.setdefault("DJANGO_SETTINGS_MODULE", "你的project.settings")

2022-04-24 16:09:19 2447

原创 Python中KeyError: 的解决方法

https://blog.csdn.net/weixin_55267022/article/details/123061965背景python 3.7.6django 2.2现象执行代码报错： if rule['duration']:KeyError: 'duration'原因rule是字典类型，此字典中没有：return {"code": 3466, "message": e}解决返回语句修改为：return Response({"code": 3466, "messa

2022-04-24 15:34:07 12919

原创 TypeError: can only concatenate str (not “dict“) to str

背景python 3.7.6django 2.2现象执行run后通过postman调用接口报错：TypeError: can only concatenate str (not "dict") to str原因代码里获取url返回的json，其实是字典类型，但是我直接跟字符串用加号拼接： …… groupsList = promethusRulesContent['data']['groups'] for group in groupsList: loggi

2022-04-21 21:21:43 7343

原创 AssertionError: Expected a `Response`, `HttpResponse` or `HttpStreamingResponse` to be returned from

背景python 3.7.6django 2.2现象执行run后通过postman调用接口报错：AssertionError: Expected a `Response`, `HttpResponse` or `HttpStreamingResponse` to be returned from the view, but received a `<class 'dict'>`原因views.py里return需要是Response或者他的父类，由于疏忽（菜鸡），直接返回了字典：

2022-04-21 21:14:18 2467

原创 AttributeError: ‘str‘ object has no attribute ‘decode‘

背景python 3.7.6django 2.2现象执行python manage.py makemigrations时报错： File "E:\software\Python3-64bit\lib\site-packages\django\db\backends\mysql\operations.py", line 146, in last_executed_query query = query.decode(errors='replace')AttributeError: 's

2022-04-19 22:14:49 1137

原创 django.db.migrations.exceptions.NodeNotFoundError: Migration targets.0003_monitortype dependenc

背景python 3.7.6django 2.2现象执行python manage.py makemigrations时报错：django.db.migrations.exceptions.NodeNotFoundError: Migration targets.**** dependencies reference nonexistent parent node ('targets', '***')原因各应用的migrations目录内的数据文件干扰解决方式将其删除，重新执行pyth

2022-04-19 22:11:19 2010

原创 RuntimeError: populate() isn‘t reentrant

背景环境：使用django 2.2 和python 3.7.6报错信息执行：python manage.py 时，报错RuntimeError: populate() isn’t reentrant原因分析1、改错了settings文件由于是接手别人的代码，对配置文件用哪个没有搞清楚。项目目录下有一个settings.py，还有一个目录settings，下面有dev.py test.py和prod.py，我以为是用的目录内的配置，就改了dev.py，其实使用的是项目目录内的settings.py

2022-04-19 22:01:02 3763

原创 fatal: Authentication failed for解决方法

背景在执行git pull origin master的时候报错：fatal: Authentication failed for 'https://gitxxx.com/xxx.git'解决办法：git config --system --unset credential.helper之后你在pull或push就会提示输入名称和密码免输入用户密码方法：git config --global credential.helper store此时，会在你本地生成一个文本，用于记录你的账号和

2022-04-19 14:58:20 4098

原创 hive：统计hive中所有表的大小和创建时间

h统计hive中所有表的大小和创建时间

2022-03-04 17:40:36 5085 1

原创通过hive元数据查询hive库和表的总条数

通过hive元数据查询库表总条数和总大小

2021-12-15 12:45:57 8604 2

转载 /usr/bin/ld: cannot find -latomic

编译redis 5.0.9时遇到报错：/usr/bin/ld: cannot find -latomiclatomic代表的是 libatomic.so，也即是在编译的过程中，需要libatomic.so库，而系统又找不到这个库；解决方法是手动找到这个库，可能存在如下几种情况：1、系统中没有安装依赖库libatomic.so2、系统可能已经存在libatomic.so，但是不在默认查找路径(/usr/lib之类的路径)，而是在其他路径中。3、系统中没有libatomic.so这个库，但是找到类似

2021-08-26 11:44:59 7245

原创 git 拉取远程代码

参考：https://www.cnblogs.com/jiafeimao-dabai/p/9957532.html1、在本地创建代码目录本地创建目录，如：myproject2、初始化本地仓库在1中创建的目录下执行：git init 执行完成后，会在当前目录内生成.git目录，目录内缓存本地仓库信息3、添加项目信息到本地缓冲区这一步会将远程的仓库信息写入本地仓库.git/config文件中的：[remote “origin”]里面git remote add origin https://

2021-06-08 16:21:42 4115 1