- 博客(42)
- 收藏
- 关注
RSS订阅转载 kafka+zookeeper集群搭建
环境centos: 7.3kafka: 2.11-0.10.2.1zookeeper: 3.4.9java:1.8.0_111kafka安装包:https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgzzookeeper安装包:http://archive.apac...
2019-07-10 14:34:00
158
转载 利用nginx实现https和ssh共用端口绕过防火墙限制ssh登录的方法
1.前提nginx > 1.15.2版本2.实现的原理nginx 1.15.2版本以后，新增了一个新特性$ssl_preread_protocol，可以让tcp stream proxy区分web ssl/tls和其它协议；3.配置方法stream {upstream ssh {server 192.0.2.1:22;}upstream web...
2019-07-10 11:07:00
1445
转载 zabbix配置Action触发脚本
PS：operation绑定的user需要具有报警机器的读权限，我这里的Admin用户(超级用户)，所以没有特殊说明。转载于:https://www.cnblogs.com/xingxiz/p/11150321.html...
2019-07-08 11:59:00
516
转载 supervisor纳管的应用启动多个进程(如kafka多实例)
supervisor启动的应用有时候需要启动多个实例怎么办呢？写多个配置文件？最方便实用的办法如下。需要起多个实例直接改numprocs的个数就行了。转载于:https://www.cnblogs.com/xingxiz/p/11104281.html...
2019-06-28 18:33:00
438
转载 安装supervisor(4.0.3)
#安装4.0.3最新版pip install supervisor -i http://pypi.douban.com/simple#/etc/init.d/supervisor文件写入开机自启动脚本#! /bin/sh## skeleton example file to build /etc/init.d/ scripts.# ...
2019-06-28 17:37:00
131
转载 redis-cluster的实例动态调整内存
当redis.conf中的最大内存配置为10G的时候，恰好程序已经写满了，但是物理主机是有内存的，此时可以通过config set xxxx xxxx 来设置实例的内存大小，而不需要重启实例。获取当前最大内存的大小：config get maxmemory修改内存大小：config set maxmemory 32212254720...
2019-06-03 12:12:00
131
转载 nginx upstream的五种分配方式
Nginx负载均衡选项upstream用法举例1、轮询(weight=1)默认选项，当weight不指定时，各服务器weight相同，每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。upstream bakend { server 192.168.1.10; server 192.168.1.11;}...
2019-05-26 14:12:00
114
转载 cdn、回源等问题
访问 cdn 资源和不通过 cdn 访问的过程有什么不同？一般的过程我们都知道了，不再赘述。下面我们来看看访问 cdn 的过程。1.首先访问本地的 DNS ，如果没有命中，继续递归或者迭代查找，直到命中拿到对应的 IP 地址。2.拿到对应的 IP 地址之后服务器端发送请求到目的地址。(注意这里返回的不直接是 cdn 服务器的 IP 地址，而是全局负载均衡系统的 IP...
2019-05-16 18:20:00
226
转载 gpu机器安装nvidia-smi和python的tensorflow-gpu模块
os: ubuntu14.04.4python: 2.7.13tensorflow-gpu: 1.4.1cuda: 8.0.44-1cudnn: cudnn-8.0-linux-x64-v6.0-tgz1.安装支持gpu设置的tensorflow-gpupip install tensorflow-gpu==1.4.1 -i http://pypi.do...
2019-04-10 19:17:00
298
转载 GlusterFS常用命令
1.启动/关闭/查看glusterd服务# /etc/init.d/glusterd start# /etc/init.d/glusterd stop# /etc/init.d/glusterd status2.开机自动启动glusterd服务# chkconfig glusterd on # Red Hat# update-rc.d glusterd de...
2019-03-28 16:26:00
215
转载 修改内核参数ip_local_reserved_ports避免tomcat端口占用
问题描述：tomcat 重启时候 遇到这个情况，出现60080端口被占用而无法启动，非得等该端口释放后才启动成功。问题分析：60080端口被该服务器上的客户端(dubbo motan)随机选取源端口给占用掉了。解决方案：使用net.ipv4.ip_local_port_range参数，规划出一段端口段预留作为服务的端口，这种方法是可以解决当前问题，但是会有个问题，端口使用量减少了...
2019-03-27 15:16:00
311
转载 TTM模块安装
要点提示1.服务器安装TTM模块用于获取用户的Client IP，配合新LB负载均衡使用；2.安装TTM模块时需要提供服务器root权限，并在root目录下创建“kgwttm”文件夹，否则会安装不成功；3.TTM模块版本跟内核版本有关系，安装前请检查系统内核版本；（注：Centos 7.3物理机和私有云主机安装包不同，请正确下载安装包）4.Ubuntu系统需要先下载DKM...
2019-03-21 11:07:00
1068
转载 查看磁盘raid信息
wgethttp://xxx/soft/MegaCli-P /binchmod 755 /bin/MegaCliMegaCli -ldinfo -lall -a0 |more转载于:https://www.cnblogs.com/xingxiz/p/10450425.html
2019-02-28 14:56:00
599
转载 Kubernetes中的PodIP、ClusterIP和外部IP
Kubernetes是Google开源的容器集群管理系统，是Docker容器的主要集群管理系统之一。其中，Kubernetes中管理主要有三种类型的IP:Pod IP 、Cluster IP 和 外部IP。Pod IPKubernetes的最小部署单元是Pod。利用Flannel作为不同HOST之间容器互通技术时，由Flannel和etcd维护了一张节点间的路由表。Flann...
2019-02-21 23:39:00
238
转载 ubuntu 14.04.5 kern numa bug
线上有一批机器经常crash，cpu load只升不降，原因是这批机器都是ubuntu 14.04.5的操作系统，原因是bios中有个功能没关。hadoop上概率发生很高。不跑hadoop的机器概率低一些。解决方法：关闭bios中numa的一个功能，不停机修改bios功能，详见Megacli命令。转载于:https://www.cnblogs.com/xingxi...
2019-02-21 16:00:00
111
转载 MegaCli命令详解
一、MegaCli命令介绍MegaCli是一款管理维护硬件RAID软件，可以用来查看raid信息等MegaCli 的Media Error Count: 0 Other Error Count: 0Medai Error Count 表示磁盘可能错误，可能是磁盘有坏道，这个值不为0值得注意，数值越大，危险系数越高，Other Error Count 表示磁盘可能存在松动，可能需要重...
2019-02-21 11:18:00
780
转载 rsync同步工具
1、rsync介绍rsync和ssh带的scp命令比较相似，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以进行增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝.利用rsync还可以实现删除文件和目录功能，这又相当于rm命令。2、rsync特...
2019-02-13 16:15:00
120
转载 安装python3+
#ubuntu14.04 apt安装add-apt-repository ppa:deadsnakes/ppaapt-get updateapt-get install python3ps: 默认是3.4，可直接写指定版本如：python3.6。转载于:https://www.cnblogs.com/xingxiz/p/10368617.html...
2019-02-13 10:50:00
57
转载 修改程序ulimit限制(不重启应用)
由于线上应用特殊，不能随意重启，找到2种动态修改程序ulimits限制的方法。下面举例修改nginx的core file大小限制方法一：prlimit工具修改#安装新版本的util-linux，由于util-linux版本需要大于等于2.21以上才支持prlimit命令(如果系统有此命令请忽略安装步骤)。cd /usr/local/srcwget https://mi...
2019-02-12 13:10:00
1033
转载 预览graph取消item的value单位自动转换
如果zabbix graph Y轴item的value用默认的话，会自动进行单位换算，但有时感觉不想要这个单位换算，想看更精确些的数字。从官方文档中获取这么一段说明：单位黑名单默认情况下，为项目指定单位会导致添加乘数前缀 - 例如，单位为“B”的传入值“2048”将显示为“2KB”。但是，例如，可以通过使用前缀来防止任何单元被转换。为了更好地说明转换如何使用...
2019-01-22 00:29:00
75
转载 Elasticsearch内存分配设置详解
Elasticsearch默认安装后设置的内存是1GB，对于任何一个现实业务来说，这个设置都太小了。如果你正在使用这个默认堆内存配置，你的集群配置可能会很快发生问题。这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。设置命令如下：export E...
2019-01-14 15:28:00
205
转载 Linux core 文件介绍
1. core文件的简单介绍在一个程序崩溃时，它一般会在指定目录下生成一个core文件。core文件仅仅是一个内存映象(同时加上调试信息)，主要是用来调试的。2. 开启或关闭core文件的生成用以下命令来阻止系统生成core文件:ulimit -c 0下面的命令可以检查生成core文件的选项是否打开:ulimit -a该命令将显示所有的用户定制，其中选项-a代表“all”。也...
2018-12-28 11:48:00
121
转载 案例一 整套项目打包部署
Docker Compose1、介绍Compose是一个定义和管理多容器的工具，使用Python语言编写。使用Compose配置文件描述多个容器应用的架构，比如使用什么镜像、数据卷、网络、映射端口等；然后一条命令管理所有服务，比如启动、停止、重启等。2、安装curl -L https://github.com/docker/compose/releases/down...
2018-12-04 18:18:00
191
转载 Linux删除文件提示Operation not permitted的处理办法
经常有同事问，删除文件/目录时报Operation not permitted错误，这个要如何处理？！这个一般是权限的问题，比如:1. 普通用户且有足够的权限的话，一般文件夹可能是别的服务/进程掉用该文件夹lsof +D /Dir/Your/Want/To/Delete/先执行上面的命令，查询到调用该文件夹的进程IDs，然后再kill掉，这个时候应该就可以删了！2....
2018-11-30 11:08:00
640
转载 python优雅获取本机 IP 方法
见过很多获取服务器本地IP的代码，个人觉得都不是很好。从网上搜索到一个靠谱的脚本，分享一下！通过 UDP 获取本机 IP，目前见过最优雅的方法这个方法是目前见过最优雅获取本机服务器的IP方法了。没有任何的依赖，也没有去猜测机器上的网络设备信息。 而且是利用 UDP 协议来实现的，生成一个UDP包，把自己的 IP 放如到 UDP 协议头中，然后从UDP包中获取本机的I...
2018-11-22 11:03:00
164
转载 nginx open files limits 导致大量错误信息
nginx error.log 中出现大量如下错误信息：[root@localhost nginx]# grep -aP '^20.* \[crit\]' error.log2017/03/14 12:06:31 [crit] 3549#0: accept4() failed (24: Too many open files)[root@localhost nginx]# ...
2018-11-16 18:52:00
158
转载 excel表格用协程插入到mysql
#!/usr/bin/python#coding=utf-8import MySQLdbimport geventimport xlrdimport sysclass mysqldb: def __init__(self,host,username,password,db,charset='utf8'): self.ho...
2018-11-05 10:39:00
67
转载 mysql基本操作
delete from 表名;truncate table 表名;不带where参数的delete语句可以删除mysql表中所有内容，使用truncate table也可以清空mysql表中所有内容。效率上truncate比delete快，但truncate删除后不记录mysql日志，不可以恢复数据。delete的效果有点像将mysql表中所有记录一条一...
2018-10-23 10:47:00
61
转载 装饰器
简单装饰器def use_logging(func): def wrapper(): logging.warn("%s is running" % func.__name__) return func() # 把 foo 当做参数传递进来时，执行func()就相当于执行foo() return wrapper...
2018-10-17 11:54:00
55
转载 磁盘分区异常占用满了
Linux下的根分区使用率100%，但是查看/分区下的目录都不大，没有占用满，这该怎么处理？切到根目录，运行du -h --max-depth=1发现文件实际大小加起来才不到30%，这时就有可能是有文件被删除，而进程还活着，因而造成还占用空间的现象。lsof |grep delete根据lsof列出的进程号,kill这些进程后,空间就释放出来了.但是今天我遇到的这个问题不...
2018-10-16 11:53:00
397
转载 平滑升级nginx
#!/bin/bashapt-get install libpcre3 libpcre3-dev openssl libssl-dev zlib1g-dev-ynginx -V 2>/tmp/nginx_configuration.txtnginx_make_parameter=`grep argument /tmp/nginx_configuration.txt |awk -F...
2018-10-15 10:42:00
66
转载 supervisor进程异常挂掉
不久前，线上有一批机器晚上的时候supervisor进程异常退出，早上业务部门反映了这个问题，同一类机器18台中有15台supervisor挂了，于是启动supervisor及其纳管应用，并开始定位根因；查看发现这15台机器/var/log/system.log日志在今早06:28分有更新，06:28有如下异常信息：Supervisor WARN received S...
2018-10-11 10:38:00
1496
转载 datetime值毫秒四舍五入
问题：MySQL5.6 版本。datetime 字段类型支持6位毫秒级别。当从5.5升级以后，插入的值可能会被四舍五入（太坑！！！）# 实例1， MySQL 5.6CREATE TABLE szy (`id` int(11) NOT NULL AUTO_INCREMENT,`gmt_create`datetimeDEFAULT NULL, ...
2018-09-29 11:27:00
1152
转载 docker+tomcat 启动时非常慢原因之JRE /dev/random阻塞
docker+tomcat 启动时非常慢，一般正常启动几十秒的，发现docker+tomcat启动竟需要几分钟，不可思议根本原因是SecureRandom 这个 jre 的工具类的问题。那为什么 SecureRandom generateSeed 这么慢，甚至挂在 Linux 操作系统呢？Tomcat 7/8 都使用 org.apache.catalina.util.Sessi...
2018-08-31 10:23:00
212
转载 Tomcat最大连接数问题
Tomcat的server.xml中Context元素的以下参数应该怎么配合适<Connector port="8080"maxThreads="150"minSpareThreads="25"maxSpareThreads="75"acceptCount="100"/>答曰：maxThreads="150" 表示最多同时处理150个连接m...
2018-08-15 14:21:00
187
转载 Docker：设置代理proxy
相信刚开始用docker的一定会遇到下面这种情况：docker@boot2docker:~$ sudo docker search ubuntuFATA[0000] Error response from daemon: Get https://index.docker.io/v1/search?q=ubuntu:dial tcp: lookup index.docker.io:...
2018-07-31 23:39:00
503
转载 easy_install和pip安装python库修改默认的源
国内的pythoner强烈建议使用豆瓣的pypi源虽然用easy_install和pip来安装第三方库很方便它们的原理其实就是从Python的官方源pypi.python.org/pypi 下载到本地，然后解包安装。不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。跟ubuntu的apt和centos的yum有各个镜像源一样，pypi也有...
2018-07-30 17:21:00
122
转载 zabbix监控mysql之Warning: Using a password on the command line interface can be insecure.
今天在添加zabbix对2台mysql服务器监控的时候，其中有一台的item报如下错误：Value "Warning: Using a password on the command line interface can be insecure.6158" of type "string" is not suitable for value type "Numeric(unsigne...
2018-07-26 13:38:00
175
转载 Mysql忘记密码解决方法
方法1：1.停止MySQL服务# kill `cat /var/run/mysqld/mysqld.pid`或者# pkill mysqld2.创建一个密码赋值语句的文本文件# vi mysql-initALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass!6';在加载授权表之前重置密码。...
2018-07-05 18:29:00
77
转载 vi编辑器常用快捷键
x 删除光标处的字符dd 删除整行i 在光标前插入文本a 在光标后插入文本o 当前行下插入新行u 撤销最后一次修改:e! 放弃所有修改，从上次保存开始处再编辑:wq 保存退出:q! 不保存退出/pattern：从光标开始处向文件尾搜索pattern?pattern：从光标开始处向文件首搜索pattern光标控制命令命令 光标移动h或...
2018-06-13 23:47:00
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人