我也要用- 博客(133)
- 资源 (7)
- 论坛 (10)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 CDH-trouble：ProtocolError: ＜ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized＞
问题描述cdh在安装agent的时候，报如下的错误：[22/Feb/2021 19:03:48 +0000] 31900 MainThread supervisor ERROR Failed! trying again in 2 second(s): <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>Traceback (most recent call last): File "/opt/cloudera/cm-agen
2021-02-22 19:24:44
16
原创 rsyslog-trouble： imjournal: 26794 messages lost due to rate-limiting
问题描述在message中有很多报错如下：Feb 20 10:53:02 05h04m3219.lf02.nenglpt rsyslogd[43392]: imjournal: journal reloaded… [v8.24.0 try http://www.rsyslog.com/e/0 ]Feb 20 10:53:02 05h04m3219.lf02.nenglpt rsyslogd[43392]: imjournal: journal reloaded… [v8.24.0 try http:/
2021-02-22 14:14:30
14
原创 glusterfs-glusterfind-trouble：FileNotFoundError: [Errno 2] No such file or directory: ‘gluster‘: ‘gl
问题描述运行glusterfind create test_session时报错如下：Traceback (most recent call last): File "./glusterfind", line 18, in <module> main() File "/app/glusterfs/libexec/glusterfs/glusterfind/main.py", line 865, in main globals()["mode_" + args.mode
2021-02-22 10:32:45
11
原创 glusterfs-trouble：0-rpc: Wrong Type(67) received from...
问题描述报错如下：0-rpc: Wrong Type(67) received from…原因首先这是我们生产环境使用的glusterfs，报错的原因是：被安全工具（绿盟的某种工具）扫描了。解决办法联系扫描方不要扫描了（O(∩_∩)O）升级版本，据测试升级到6.8版本就可以解决这个问题设置Iptables，将拒绝扫描工具IP的访问...
2021-01-28 21:20:29
15
原创 k8s-trouble-sealos：... request due to an error: [invalid bearer token, Token has been invalidated]
问题描述当使用sealos clean --all以后，在init，发现apiserver的一直报如下错误：he request due to an error: [invalid bearer token, Token has been invalidated]解决办法删除掉 ~/.sealos 然后重新执行 sealos init，应该就可以了...
2021-01-28 11:20:28
28
原创 k8s-trouble-es: failed to validate incoming join request from node ... time out waiting for task
报错如下问题处理首先定位一下 es节点的资源（CPU、内存）是不是待耗尽如果资源消耗的比较严重，使用 jstat -gcutil查看一下gc情况如果gc次数比较频繁，请把jvm 的内存加大一点如果没有出现以上情况，那就需要配置一下如下参数：# 容器环境可以加大一点discovery.zen.ping_timeout: 600s# 这个避免脑裂 n/2 + 1discovery.zen.minimum_master_nodes: 2...
2021-01-21 11:24:58
37
1
原创 故障处理: SFTP 报错 com.jcraft.jsch.JSchException: channel is not opened
报错的部分内容2020-12-30 04:00:11,704 com.chinaunicom.base.file.ftp.FtpUtil.listFiles(FtpUtil.java:230) -- ERROR -- ??????????????????host:192.168.0.1,???:frmc1,??:22??????????/download/?????com.jcraft.jsch.JSchException: channel is not opened. at com.j
2021-01-12 10:12:23
192
2
原创 k8s场景下日志处理(二) 部署篇
接上篇https://blog.csdn.net/u014686399/article/details/108974291上文聊到我们将fluent按照功能分成不同模块，并且增加了过滤功能，可以只筛选我们想要的日志。我们也可以针对专门模块进行副本增加，参数调优等。下面我们聊聊怎么部署吧部署首先我们部署好helm环境# 下载helm3的安装包并解压# 添加资源库 helm repo add apphup https://apphub.aliyuncs.com/安装ES# 参照
2021-01-11 15:59:39
25
1
原创 k8s环境的fluentd故障处理篇-dump an error event: error_class=ArgumentError error=“message does not exist“
报错详情2021-01-07 17:35:16 +0800 [warn]: #0 fluent/log.rb:350:warn: dump an error event: error_class=ArgumentError error=“message does not exist” location=nil tag=“kubernetes.forward” time=1970-01-01 08:33:41.209632975 +0800 record={“log”=>“2021-01-07 09:
2021-01-08 14:19:55
87
2
原创 k8s运维-故障排除篇-在外部访问NodePort类型的service时被拒绝，Connection refused
（1）在外部访问NodePort类型的service时，被拒绝。 Connection refused1、请检查你访问的worker上的kubelet服务是否启动？上图中的worker是123.56.191.1262、检查你的service的是否挂载上了endpoints,如下图说明已经挂载了最后检查你的服务是否正常启动了，可以进入pod使用telnet或者curl测试一下你的服务。如果你的容器中没有这些工具，可以借助kubectl-debug。...
2021-01-07 11:16:35
111
原创 linux系统运维-故障排除篇-‘abrt-cli status‘ timed out
‘abrt-cli status’ timed out解决办法# systemctl status abrtd你会看到locked信息# kill -15 43002# systemctl status abrtd# 查看信息是否还在， 如果不在就可以重新登录试试
2021-01-04 19:53:05
101
原创 k8s环境的fluentd:故障处理篇
mkmf.rb can’t find header files for ruby at /usr/lib/ruby/include/ruby.h解决办法：所有的worker上 执行 yum install ruby-devel -y
2020-12-28 15:35:00
30
原创 故障处理篇
（1）Failed to find brick directory, No such file or directory#这是因为目录不存在 mkdir -p /data/gluster(2) Failed to get extended attribute trusted.glusterfs.volume-idyum install attr -ygetfattr -d -m . -e hex /data/gluster #会看不到glusterfs.volume-id属性#解决办法一
2020-12-22 12:01:08
33
原创 软件安装篇 - elastic search安装
安装方式使用helm3安装部署添加chart源helm add repo apphub https://apphub.aliyuncs.com/搜索elastic search的chart helm search repo elasticsearchfetch 这个charthelm fetch apphub/elasticsearch修改value.yaml 配置文件，下面是部分 ，视情况而定master: replicas: 1 # 副本数 he
2020-12-15 15:30:10
36
原创 存储篇：通过glusterfs+NFS+service供k8s使用存储
场景描述glusterfs本身可以借助heketi来供k8s使用，如下图有个场景：glusterfs是先于k8s安装的，机器已经没有新的磁盘供你单独给Heketi使用了你没有权限创建新的卷，你只能使用提供给你的卷针对上面的场景，可以使用下面的架构部署服务器A和服务器B上，部署NFS服务yum -y install nfs-utils rpcbindsystemctl start rpcbindsystemctl start nfs服务器A和服务器B上，配置NFS服务
2020-12-15 14:38:40
81
原创 airflow: initdb的时候报ImportError: cannot import name ‘resolve_types‘ from ‘attr‘
报错信息Traceback (most recent call last): File "/app/pycharm/airflow/airflow/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/app/pycharm/airflow/airflow/lib/python3.7/site-packages/airflow/bin/cli.py", line 94,
2020-12-03 20:09:28
92
原创 tornado报文头包含中文的处理方式
问题概述当我们执行如下代码，会得到报错。具体原因就是因为中文的问题file_name = "你好"self.set_header('filename', '%s' % url_escape(file_name))解决办法后端代码：from tornado.escape import url_escapefile_name = "你好"self.set_header('filename', '%s' % url_escape(file_name))前端代码fileName = deco
2020-11-16 19:37:16
37
原创 k8s场景下日志处理
现状当我们的应用部署在k8s的环境中以后，日志的处理也会成为一个需要研究的课题。相比于传统的环境，日志会伴随着容器的重启而消失，解决方案目前有ELK(EFK)和持久卷。先说一下持久卷的方案。在实现上一般通过hostpath和pv的形式。首先我们的应用在k8s环境是多副本的，所以如果不想所有的副本日志都打印在一个里面的话，就要求每个副本的日志文件的名字不一样。再者，日志的查看方式大致是首先定位到我们容器所在的主机，然后登陆上去相应的日志路径下去查看日志。其实我觉得EL/FK的方案应该是比较好的方案，因为
2020-10-09 15:26:27
238
原创 centos6环境：sftp用户借助rsyslog打印日志，用户超过50后不生效
问题描述首先，我配置的sftp的用户都是做了chroot的，并且每个用户之间是没有共享目录的，所以rsyslog的配置是不能用一个 $AddUnixListenSocket搞定，需要为每个用户都配置一个这个文件。大致的配置流程可以参考https://blog.famzah.net/2011/02/03/secure-chroot-remote-file-access-via-sftp-and-ssh/（注意，这个文档中的用户是有共享目录的）。由于我的环境中，用户比较多，当我把所有的用户都配置好了以后，
2020-09-22 13:05:08
65
原创 Celery: 实现集群消费和广播消费
集群消费集群消费类似于负载均衡，生产产生的消息只会被一个worker消费一次代码workerfrom kombu import Queuefrom kombu import Exchangefrom kombu.common import Broadcastimport loggingfrom celery import Celery# logginglogging.basicConfig(level=logging.INFO,
2020-09-03 17:11:56
207
原创 golang使用go-git上传代码到gitlab远端仓库
流程直接上代码了//git clonevar gitRep *git.Repository// gitUser: git的用户名 password: git的用户密码var gitAuth = &http.BasicAuth{Username:gitUser, Password: gitPassword}//gitTmpDir 是指clone到本地后，本地的目录gitRep, endError = git.PlainClone(gitTmpDir, false, &git
2020-09-01 10:09:08
540
原创 Hbase下载很慢
我是个小白，刚进入Hbase的时间，准备安装一下，结果下载需要9个小时，妈的比下载英雄联盟还慢！！！解决办法>> 第一步>>第二步>>第三步，来我们大中国的网站下载吧，很快的>>第四步Ok, 享受丝滑的下载吧...
2020-08-30 13:40:00
228
1
原创 golang拷贝目录（持续更新中）
思路首先遍历源目录，将所有的目录和文件分别存储在两个切片中，然后先创建所有的目录，然后在创建所有的文件。目前不会处理连接文件上代码package modelsimport ( "bufio" "errors" "fmt" "io" "os" "path/filepath" "strings")//WalkFile 文件对象type WalkFile struct{ Fname string Fmode os.FileMode}//Dir 目录对象type D
2020-08-29 12:31:02
208
原创 k8s资源篇：资源控制手段
胡扯一下今天是周末，捋一捋k8s资源方面的一些事情，最近也在面试，k8s的问题是真的多。根据目前我的知识储备，感觉k8s的资源管理分为两大类：预防和应急。预防就是提供给用户手段，让你尽可能的控制资源的使用。应急可以理解为兜底，也是最后的屏障了，当预防的手段没有预防好，就要使用应急手段了。预防手段在k8s中资源的使用对象是pod。k8s为pod提供了request和limit的手段来限制资源的使用情况。request表示pod启动时，要申请的资源数limit表示pod最终能使用的资源数举个例
2020-08-23 16:52:11
109
原创 golang解压zip包（linux和windows都可以）可以包含子目录
不多BB，直接上代码了package mainimport ( "os" "io" "archive/zip" "path/filepath" "fmt")func DeCompress(zipFile, dest string) error { reader, err := zip.OpenReader(zipFile) if err != nil { return err }
2020-08-20 16:01:45
141
原创 linux sftp日志格式修改
简要说明当我们为sftp配置了openssh的sftp-server的时候，sftp的日志就能看到对文件的操作，日志如下：ssh的配置文件如下问题说明这样日志当我们需要判断一个文件的操作用户和用户的IP地址时，就极度困难了，就需要根据sessionid来聚合了解决方法我的解决办法有点low, 就是修改openssh的源代码首先我们要使用git clone，clone一份最新的openssh的代码、git clone git://anongit.mindrot.org/open
2020-08-18 21:15:06
252
2
原创 java-hdfs-client上传文件报错：......replicated to 0 nodes instead of minReplication (=1)....
使用java的hdfs-client上传文件的时候报下面的错误Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /javaTest/bus.html could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and 3 node.
2020-08-06 22:05:20
72
原创 k8s增加带有GPU资源的worker
不知道你是否GPU到底是个啥？如果你好奇的话，可以看一下这个连接。有个小姐姐的文章说的比较好，简单的理解就是GPU是显卡的一部分https://www.zhihu.com/question/28422454怎么查看我的机器上有没有GPU这里我理解不太透彻，只能表示一下自己的理解：按理说只要有显卡就有GPU,但是不是所有的GPU都能拿来供我们的程序使用，应该也受计算框架的影响吧。对于K8S来说，目前支持的GPU，是AMD和NVIDIA。我的环境用的英伟达的，机器是阿里云的ECS，下面是在E
2020-06-11 18:37:57
573
原创 istio试验环境准备，部分问题
环境描述k8s版本 1.8.3istio 1.6.1问题一， 不能自动注入sidecarWarning FailedCreate 5s (x3 over 34s) replicaset-controller Error creating: Internal error occurred: failed calling webhook“sidecar-injector.istio.io”: Post https://istiod.istio-system.svc:443/inject
2020-06-09 21:49:26
1109
2
原创 iveiw Table 组件在数据变更后，视图不改变
问题描述如上图，我想通过操作右边的按钮来操作表格里的数据（上移，下移，删除）。上移和下移的代码如下： moveUp (index) { console.log(index) if (index === 0) { return true } const temObj = this.data1 const tem = ...
2020-04-07 13:05:28
189
原创 通过python3.6 + django +django_cas_ng 实现python应用接入单点登录
吐一下槽在公司推广python的时候，发现一直没有一个好用的python版本的cas客户端，这样就不能和java平起平坐了，也就只能写点简单的脚本了。哎。。。环境准备python： 3.0 + 吧，没有特殊要求django_cas_ng: 这个用最新的吧， 我目前是4.1.1django 3.0安装django_cas_ng的安装# 这一步我简单说了，不是中单- 官网下载...
2020-03-25 16:26:33
1234
1
原创 centos sshd如何检查配置文件是不是正确
简述对于运维人员，登录服务器一般要借助ssh服务。正因为如此，ssh服务变的很重要，而当我们要修改ssh的配置的时候，如何做呢？步骤（保底步骤，如果机器很重要，还是建议做一下），启动telnet服务#yum install telnet-server -y# 没有的话就创建一个vi /etc/xinetd.d/telnetservice telnet{ fl...
2020-02-13 15:41:58
652
原创 通过django_cas_ng怎么完成登录的呢？？？
环境介绍cas插件使用的是django_cas_ng 3.6.0pyhton 3.7.3django 2.2.3先看看 cas的工作流程借用大哥的一张图假设A、B系统对接了一个cas:登录A系统 1. 当请求到了A系统的程序，首先经过的应该是cas_client,cas_client发现你的请求没有ticket，就重定向到cas的地址进行登录也就是输入用户和密码的页面（...
2019-12-19 18:30:45
755
原创 学习一下asyncio
简述asyncio即异步IO，是python3.7的一个亮点。在IO密集的场景下，对我们的编程非常有帮助，切记IO密集的场景而不是计算密集的场景。asyncio的API分为高等和低等。一般情况下，我们使用高级API即可，当高级API不能满足的时候再使用低级API。下文中也主要讲述高级API。献上官网地址：https://docs.python.org/3/library/asyncio.ht...
2019-12-14 17:00:44
199
3
原创 LVM看不见了
简述今天同事通过ansible批量操作了一批主机，其中包含lvm的划分以及lvm的挂载。最后发现，使用lvdisplay看不到信息，使用vgdisplay看不到vg，使用pvdisplay也看不到pv，但是能挂载上，震惊了！！！解决办法重启使用reboot重启了机器，信息都能看到了。 但是过了几天lvm又无情的消失了，哎，慌了这个办法不一定能从根本上解决问题，有的时候可能不好使。...
2019-12-12 11:14:39
939
原创 说说 yield from
简述每当看到yield from,都有些心虚，因为不了解。今天找时间了解了一下，不得不说官网的英语太难了，哎~，先把看懂的说下一吧为啥用yield from呢第一个理由RESULT = yield from EXPR上面的代码是等于下面的代码的#### 工作代码_i = iter(EXPR)try: _y = next(_i)except StopIteration...
2019-12-10 20:59:53
112
原创 我对K8s监控的看法
做监控的过程完事开头难，某天领导甩给你一个环境，说：小明给把环境监控起来。小明该怎么做呢？如果我是小明，我会分三个阶段考虑这个问题：1个where和两个how，接下来我们一个一个的解决。where数据源有哪些呢？？ ，考虑一下k8s的架构，我总结如下：K8s方面K8s服务本身、k8s内部部署的应用、k8s的资源（pod，deployment,daemonset等等）ETCD层面...
2019-12-01 15:30:11
424
原创 PrometheUS：聊聊数据类型Histogram和Summary
简述PrometheUS有四种数据类型Counter、Gauge、Histogram、Histogram。当我读官方文档的时候，前两种数据类型一读就明白了，可是后两种就让人难受了，怎么读也整不明白了，哎，头皮发麻呀，今天抽空折腾一下Histogram在有道翻译中这是柱状图的意思。举个栗子：我想获取北京最近十天内，温度分布情况，我们可以用Histogram这个数据类型，如果用图像表示，也就是柱...
2019-11-18 11:01:08
3699
2
glusterfs.tar.gz
2020-06-25
nvdia-docker和runtime.zip
2020-06-25
conntrack-tools-1.4.4-7.el7.x86_64.rpm
2020-06-25
rsyslog安装包适合centos6
2020-09-22
lib.190812.tar.gz
2019-08-12
请问vmare 虚拟机可以完成 docker+ovs 容器跨主机访问的实验吗
发表于 2017-08-22 最后回复 2018-11-03
zookeeper 崩溃恢复问题
发表于 2017-09-20 最后回复 2017-09-20
HP-UX 怎么查看某个用户密码是否过期，怎么修改成永不过期
发表于 2017-09-04 最后回复 2017-09-04
假如说7个节点的zookeeper集群，由于网络原因脑裂成两个集群，等网络恢复后，会不会再成为一个集群
发表于 2017-09-01 最后回复 2017-09-04
tcpdump 怎么过滤掉stp的条目
发表于 2017-08-23 最后回复 2017-08-24
jstat 命令中有 perm/odl/代当前新生成的容量,这个新生成是什么意思
发表于 2017-08-06 最后回复 2017-08-06
我设置了table的宽度，但是tr的宽度不会撑满整个table，请问除了固定td宽度之外还有别的方法吗
发表于 2017-07-28 最后回复 2017-08-06
docker daemon 启动 daemon的时候 --cluster-advertise 是做什么的
发表于 2017-07-19 最后回复 2017-07-19
完全异步i/o和 异步i/o有什么区别
发表于 2017-07-07 最后回复 2017-07-07
ajaxSuccess第一次执行一次，第二次执行两次，这样递增的执行
发表于 2017-06-23 最后回复 2017-06-27
pidstat 的cpu使用率不会超过100
2021-03-01
zookeeper leader崩溃恢复后，事务同步问题
2017-09-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝