自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(133)
  • 资源 (7)
  • 论坛 (10)
  • 问答 (4)
  • 收藏
  • 关注

原创 CDH-trouble:ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>

问题描述cdh在安装agent的时候,报如下的错误:[22/Feb/2021 19:03:48 +0000] 31900 MainThread supervisor ERROR Failed! trying again in 2 second(s): <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>Traceback (most recent call last): File "/opt/cloudera/cm-agen

2021-02-22 19:24:44 16

原创 rsyslog-trouble: imjournal: 26794 messages lost due to rate-limiting

问题描述在message中有很多报错如下:Feb 20 10:53:02 05h04m3219.lf02.nenglpt rsyslogd[43392]: imjournal: journal reloaded… [v8.24.0 try http://www.rsyslog.com/e/0 ]Feb 20 10:53:02 05h04m3219.lf02.nenglpt rsyslogd[43392]: imjournal: journal reloaded… [v8.24.0 try http:/

2021-02-22 14:14:30 14

原创 glusterfs-glusterfind-trouble:FileNotFoundError: [Errno 2] No such file or directory: ‘gluster‘: ‘gl

问题描述运行glusterfind create test_session时报错如下:Traceback (most recent call last): File "./glusterfind", line 18, in <module> main() File "/app/glusterfs/libexec/glusterfs/glusterfind/main.py", line 865, in main globals()["mode_" + args.mode

2021-02-22 10:32:45 11

原创 k8s-trouble-nodeport:本机访问本机的nodeport很慢,其他节点访问很快

问题描述k8s搭建完成后,我在本机访问

2021-01-29 23:42:03 101

原创 k8s-trouble-sealos: calico+外网映射构建集群时出错

环境描述这是一个网络有点复杂的环境如图:

2021-01-28 22:42:08 29

原创 glusterfs-trouble:0-rpc: Wrong Type(67) received from...

问题描述报错如下:0-rpc: Wrong Type(67) received from…原因首先这是我们生产环境使用的glusterfs,报错的原因是:被安全工具(绿盟的某种工具)扫描了。解决办法联系扫描方不要扫描了(O(∩_∩)O)升级版本,据测试升级到6.8版本就可以解决这个问题设置Iptables,将拒绝扫描工具IP的访问...

2021-01-28 21:20:29 15

原创 k8s-trouble-sealos:... request due to an error: [invalid bearer token, Token has been invalidated]

问题描述当使用sealos clean --all以后,在init,发现apiserver的一直报如下错误:he request due to an error: [invalid bearer token, Token has been invalidated]解决办法删除掉 ~/.sealos 然后重新执行 sealos init,应该就可以了...

2021-01-28 11:20:28 28

原创 k8s-trouble-es: failed to validate incoming join request from node ... time out waiting for task

报错如下问题处理首先定位一下 es节点的资源(CPU、内存)是不是待耗尽如果资源消耗的比较严重,使用 jstat -gcutil查看一下gc情况如果gc次数比较频繁,请把jvm 的内存加大一点如果没有出现以上情况,那就需要配置一下如下参数:# 容器环境可以加大一点discovery.zen.ping_timeout: 600s# 这个避免脑裂 n/2 + 1discovery.zen.minimum_master_nodes: 2...

2021-01-21 11:24:58 37 1

原创 故障处理: SFTP 报错 com.jcraft.jsch.JSchException: channel is not opened

报错的部分内容2020-12-30 04:00:11,704 com.chinaunicom.base.file.ftp.FtpUtil.listFiles(FtpUtil.java:230) -- ERROR -- ??????????????????host:192.168.0.1,???:frmc1,??:22??????????/download/?????com.jcraft.jsch.JSchException: channel is not opened. at com.j

2021-01-12 10:12:23 192 2

原创 k8s场景下日志处理(二) 部署篇

接上篇https://blog.csdn.net/u014686399/article/details/108974291上文聊到我们将fluent按照功能分成不同模块,并且增加了过滤功能,可以只筛选我们想要的日志。我们也可以针对专门模块进行副本增加,参数调优等。下面我们聊聊怎么部署吧部署首先我们部署好helm环境# 下载helm3的安装包并解压# 添加资源库 helm repo add apphup https://apphub.aliyuncs.com/安装ES# 参照

2021-01-11 15:59:39 25 1

原创 k8s环境的fluentd故障处理篇-dump an error event: error_class=ArgumentError error=“message does not exist“

报错详情2021-01-07 17:35:16 +0800 [warn]: #0 fluent/log.rb:350:warn: dump an error event: error_class=ArgumentError error=“message does not exist” location=nil tag=“kubernetes.forward” time=1970-01-01 08:33:41.209632975 +0800 record={“log”=>“2021-01-07 09:

2021-01-08 14:19:55 87 2

原创 k8s运维-故障排除篇-在外部访问NodePort类型的service时被拒绝,Connection refused

(1)在外部访问NodePort类型的service时,被拒绝。 Connection refused1、请检查你访问的worker上的kubelet服务是否启动?上图中的worker是123.56.191.1262、检查你的service的是否挂载上了endpoints,如下图说明已经挂载了最后检查你的服务是否正常启动了,可以进入pod使用telnet或者curl测试一下你的服务。如果你的容器中没有这些工具,可以借助kubectl-debug。...

2021-01-07 11:16:35 111

原创 linux系统运维-故障排除篇-‘abrt-cli status‘ timed out

‘abrt-cli status’ timed out解决办法# systemctl status abrtd你会看到locked信息# kill -15 43002# systemctl status abrtd# 查看信息是否还在, 如果不在就可以重新登录试试

2021-01-04 19:53:05 101

原创 k8s环境的fluentd:故障处理篇

mkmf.rb can’t find header files for ruby at /usr/lib/ruby/include/ruby.h解决办法:所有的worker上 执行 yum install ruby-devel -y

2020-12-28 15:35:00 30

原创 故障处理篇

(1)Failed to find brick directory, No such file or directory#这是因为目录不存在 mkdir -p /data/gluster(2) Failed to get extended attribute trusted.glusterfs.volume-idyum install attr -ygetfattr -d -m . -e hex /data/gluster #会看不到glusterfs.volume-id属性#解决办法一

2020-12-22 12:01:08 33

原创 软件安装篇 - elastic search安装

安装方式使用helm3安装部署添加chart源helm add repo apphub https://apphub.aliyuncs.com/搜索elastic search的chart helm search repo elasticsearchfetch 这个charthelm fetch apphub/elasticsearch修改value.yaml 配置文件,下面是部分 ,视情况而定master: replicas: 1 # 副本数 he

2020-12-15 15:30:10 36

原创 存储篇:通过glusterfs+NFS+service供k8s使用存储

场景描述glusterfs本身可以借助heketi来供k8s使用,如下图有个场景:glusterfs是先于k8s安装的,机器已经没有新的磁盘供你单独给Heketi使用了你没有权限创建新的卷,你只能使用提供给你的卷针对上面的场景,可以使用下面的架构部署服务器A和服务器B上,部署NFS服务yum -y install nfs-utils rpcbindsystemctl start rpcbindsystemctl start nfs服务器A和服务器B上,配置NFS服务

2020-12-15 14:38:40 81

原创 airflow: initdb的时候报ImportError: cannot import name ‘resolve_types‘ from ‘attr‘

报错信息Traceback (most recent call last): File "/app/pycharm/airflow/airflow/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/app/pycharm/airflow/airflow/lib/python3.7/site-packages/airflow/bin/cli.py", line 94,

2020-12-03 20:09:28 92

原创 tornado报文头包含中文的处理方式

问题概述当我们执行如下代码,会得到报错。具体原因就是因为中文的问题file_name = "你好"self.set_header('filename', '%s' % url_escape(file_name))解决办法后端代码:from tornado.escape import url_escapefile_name = "你好"self.set_header('filename', '%s' % url_escape(file_name))前端代码fileName = deco

2020-11-16 19:37:16 37

原创 k8s场景下日志处理

现状当我们的应用部署在k8s的环境中以后,日志的处理也会成为一个需要研究的课题。相比于传统的环境,日志会伴随着容器的重启而消失,解决方案目前有ELK(EFK)和持久卷。先说一下持久卷的方案。在实现上一般通过hostpath和pv的形式。首先我们的应用在k8s环境是多副本的,所以如果不想所有的副本日志都打印在一个里面的话,就要求每个副本的日志文件的名字不一样。再者,日志的查看方式大致是首先定位到我们容器所在的主机,然后登陆上去相应的日志路径下去查看日志。其实我觉得EL/FK的方案应该是比较好的方案,因为

2020-10-09 15:26:27 238

原创 centos6环境:sftp用户借助rsyslog打印日志,用户超过50后不生效

问题描述首先,我配置的sftp的用户都是做了chroot的,并且每个用户之间是没有共享目录的,所以rsyslog的配置是不能用一个 $AddUnixListenSocket搞定,需要为每个用户都配置一个这个文件。大致的配置流程可以参考https://blog.famzah.net/2011/02/03/secure-chroot-remote-file-access-via-sftp-and-ssh/(注意,这个文档中的用户是有共享目录的)。由于我的环境中,用户比较多,当我把所有的用户都配置好了以后,

2020-09-22 13:05:08 65

原创 Celery: 实现集群消费和广播消费

集群消费集群消费类似于负载均衡,生产产生的消息只会被一个worker消费一次代码workerfrom kombu import Queuefrom kombu import Exchangefrom kombu.common import Broadcastimport loggingfrom celery import Celery# logginglogging.basicConfig(level=logging.INFO,

2020-09-03 17:11:56 207

原创 golang使用go-git上传代码到gitlab远端仓库

流程直接上代码了//git clonevar gitRep *git.Repository// gitUser: git的用户名 password: git的用户密码var gitAuth = &http.BasicAuth{Username:gitUser, Password: gitPassword}//gitTmpDir 是指clone到本地后,本地的目录gitRep, endError = git.PlainClone(gitTmpDir, false, &git

2020-09-01 10:09:08 540

原创 Hbase下载很慢

我是个小白,刚进入Hbase的时间,准备安装一下,结果下载需要9个小时,妈的比下载英雄联盟还慢!!!解决办法>> 第一步>>第二步>>第三步,来我们大中国的网站下载吧,很快的>>第四步Ok, 享受丝滑的下载吧...

2020-08-30 13:40:00 228 1

原创 golang拷贝目录(持续更新中)

思路首先遍历源目录,将所有的目录和文件分别存储在两个切片中,然后先创建所有的目录,然后在创建所有的文件。目前不会处理连接文件上代码package modelsimport ( "bufio" "errors" "fmt" "io" "os" "path/filepath" "strings")//WalkFile 文件对象type WalkFile struct{ Fname string Fmode os.FileMode}//Dir 目录对象type D

2020-08-29 12:31:02 208

原创 k8s资源篇:资源控制手段

胡扯一下今天是周末,捋一捋k8s资源方面的一些事情,最近也在面试,k8s的问题是真的多。根据目前我的知识储备,感觉k8s的资源管理分为两大类:预防和应急。预防就是提供给用户手段,让你尽可能的控制资源的使用。应急可以理解为兜底,也是最后的屏障了,当预防的手段没有预防好,就要使用应急手段了。预防手段在k8s中资源的使用对象是pod。k8s为pod提供了request和limit的手段来限制资源的使用情况。request表示pod启动时,要申请的资源数limit表示pod最终能使用的资源数举个例

2020-08-23 16:52:11 109

原创 golang解压zip包(linux和windows都可以)可以包含子目录

不多BB,直接上代码了package mainimport ( "os" "io" "archive/zip" "path/filepath" "fmt")func DeCompress(zipFile, dest string) error { reader, err := zip.OpenReader(zipFile) if err != nil { return err }

2020-08-20 16:01:45 141

原创 linux sftp日志格式修改

简要说明当我们为sftp配置了openssh的sftp-server的时候,sftp的日志就能看到对文件的操作,日志如下:ssh的配置文件如下问题说明这样日志当我们需要判断一个文件的操作用户和用户的IP地址时,就极度困难了,就需要根据sessionid来聚合了解决方法我的解决办法有点low, 就是修改openssh的源代码首先我们要使用git clone,clone一份最新的openssh的代码、git clone git://anongit.mindrot.org/open

2020-08-18 21:15:06 252 2

原创 java-hdfs-client上传文件报错:......replicated to 0 nodes instead of minReplication (=1)....

使用java的hdfs-client上传文件的时候报下面的错误Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /javaTest/bus.html could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and 3 node.

2020-08-06 22:05:20 72

原创 k8s增加带有GPU资源的worker

不知道你是否GPU到底是个啥?如果你好奇的话,可以看一下这个连接。有个小姐姐的文章说的比较好,简单的理解就是GPU是显卡的一部分https://www.zhihu.com/question/28422454怎么查看我的机器上有没有GPU这里我理解不太透彻,只能表示一下自己的理解:按理说只要有显卡就有GPU,但是不是所有的GPU都能拿来供我们的程序使用,应该也受计算框架的影响吧。对于K8S来说,目前支持的GPU,是AMD和NVIDIA。我的环境用的英伟达的,机器是阿里云的ECS,下面是在E

2020-06-11 18:37:57 573

原创 istio试验环境准备,部分问题

环境描述k8s版本 1.8.3istio 1.6.1问题一, 不能自动注入sidecarWarning FailedCreate 5s (x3 over 34s) replicaset-controller Error creating: Internal error occurred: failed calling webhook“sidecar-injector.istio.io”: Post https://istiod.istio-system.svc:443/inject

2020-06-09 21:49:26 1109 2

原创 iveiw Table 组件在数据变更后,视图不改变

问题描述如上图,我想通过操作右边的按钮来操作表格里的数据(上移,下移,删除)。上移和下移的代码如下: moveUp (index) { console.log(index) if (index === 0) { return true } const temObj = this.data1 const tem = ...

2020-04-07 13:05:28 189

原创 通过python3.6 + django +django_cas_ng 实现python应用接入单点登录

吐一下槽在公司推广python的时候,发现一直没有一个好用的python版本的cas客户端,这样就不能和java平起平坐了,也就只能写点简单的脚本了。哎。。。环境准备python: 3.0 + 吧,没有特殊要求django_cas_ng: 这个用最新的吧, 我目前是4.1.1django 3.0安装django_cas_ng的安装# 这一步我简单说了,不是中单- 官网下载...

2020-03-25 16:26:33 1234 1

原创 centos sshd如何检查配置文件是不是正确

简述对于运维人员,登录服务器一般要借助ssh服务。正因为如此,ssh服务变的很重要,而当我们要修改ssh的配置的时候,如何做呢?步骤(保底步骤,如果机器很重要,还是建议做一下),启动telnet服务#yum install telnet-server -y# 没有的话就创建一个vi /etc/xinetd.d/telnetservice telnet{ fl...

2020-02-13 15:41:58 652

原创 通过django_cas_ng怎么完成登录的呢???

环境介绍cas插件使用的是django_cas_ng 3.6.0pyhton 3.7.3django 2.2.3先看看 cas的工作流程借用大哥的一张图假设A、B系统对接了一个cas:登录A系统 1. 当请求到了A系统的程序,首先经过的应该是cas_client,cas_client发现你的请求没有ticket,就重定向到cas的地址进行登录也就是输入用户和密码的页面(...

2019-12-19 18:30:45 755

原创 学习一下asyncio

简述asyncio即异步IO,是python3.7的一个亮点。在IO密集的场景下,对我们的编程非常有帮助,切记IO密集的场景而不是计算密集的场景。asyncio的API分为高等和低等。一般情况下,我们使用高级API即可,当高级API不能满足的时候再使用低级API。下文中也主要讲述高级API。献上官网地址:https://docs.python.org/3/library/asyncio.ht...

2019-12-14 17:00:44 199 3

原创 LVM看不见了

简述今天同事通过ansible批量操作了一批主机,其中包含lvm的划分以及lvm的挂载。最后发现,使用lvdisplay看不到信息,使用vgdisplay看不到vg,使用pvdisplay也看不到pv,但是能挂载上,震惊了!!!解决办法重启使用reboot重启了机器,信息都能看到了。 但是过了几天lvm又无情的消失了,哎,慌了这个办法不一定能从根本上解决问题,有的时候可能不好使。...

2019-12-12 11:14:39 939

原创 说说 yield from

简述每当看到yield from,都有些心虚,因为不了解。今天找时间了解了一下,不得不说官网的英语太难了,哎~,先把看懂的说下一吧为啥用yield from呢第一个理由RESULT = yield from EXPR上面的代码是等于下面的代码的#### 工作代码_i = iter(EXPR)try: _y = next(_i)except StopIteration...

2019-12-10 20:59:53 112

原创 我对K8s监控的看法

做监控的过程完事开头难,某天领导甩给你一个环境,说:小明给把环境监控起来。小明该怎么做呢?如果我是小明,我会分三个阶段考虑这个问题:1个where和两个how,接下来我们一个一个的解决。where数据源有哪些呢?? ,考虑一下k8s的架构,我总结如下:K8s方面K8s服务本身、k8s内部部署的应用、k8s的资源(pod,deployment,daemonset等等)ETCD层面...

2019-12-01 15:30:11 424

原创 PrometheUS:聊聊数据类型Histogram和Summary

简述PrometheUS有四种数据类型Counter、Gauge、Histogram、Histogram。当我读官方文档的时候,前两种数据类型一读就明白了,可是后两种就让人难受了,怎么读也整不明白了,哎,头皮发麻呀,今天抽空折腾一下Histogram在有道翻译中这是柱状图的意思。举个栗子:我想获取北京最近十天内,温度分布情况,我们可以用Histogram这个数据类型,如果用图像表示,也就是柱...

2019-11-18 11:01:08 3699 2

PrometheUS介绍.pptx

promethus介绍使用的PPT,包含和zabbix的比较、基本的功能,以及部署方面的一些介绍。持续更新中

2020-08-17

glusterfs.tar.gz

glusterfs rpm安装包以及依赖(离线安装时使用)。使用rpm -ivh * 安装,适合centos 7的平台。包含server和client。

2020-06-25

nvdia-docker和runtime.zip

离线下载-nvdia-docker1.0.1和runtime以及他们的依赖,只需使用rpm -ivh * 安装就可以。适合centos 7的平台。

2020-06-25

conntrack-tools-1.4.4-7.el7.x86_64.rpm

conntrack-tools-1.4.4-7.el7.x86_64。这个包适合centos 7使用,使用rpm -ivh 安装就行。

2020-06-25

notepad++ json viewer 插件

单击插件管理--> 打开插件文件夹-->将zip放到里面并解压-->重启nodepad++-->检查是否有json的功能了

2021-02-03

rsyslog安装包适合centos6

Rsyslog 是一个 syslogd 的多线程增强版。它提供高性能、极好的安全功能和模块化设计。本rsyslog安装包适合centos6,版本是8.20,可以直接通过rpm -ivh进行安装

2020-09-22

lib.190812.tar.gz

欢迎下载。该类库包含的python模块: amqp==2.5.0 asn1crypto==0.24.0 bcrypt==3.1.7 billiard==3.6.0.0 celery==4.3.0 certifi==2019.6.16 cffi==1.12.3 chardet==3.0.4 cryptography==2.7 Django==2.2.3 django-cas-sso==1.1.7 idna==2.8 kombu==4.6.3 mysqlclient==1.4.2.post1 paramiko==2.6.0 pexpect==4.7.0 ptyprocess==0.6.0 pycparser==2.19 PyNaCl==1.3.0 pytz==2019.1 redis==3.2.1 requests==2.22.0 six==1.12.0 sqlparse==0.3.0 tornado==6.0.3 urllib3==1.25.3 vine==1.3.0

2019-08-12

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除