- 博客(117)
- 资源 (1)
- 收藏
- 关注
原创 AWS-ES使用技巧
AWS-ES配置自动删除索引策略{ "description": "trade log auto delete.", "default_state": "current", "states": [ { "name": "current", "actions": [], "transitions": [ { "state_na
2022-02-11 14:39:15
928
原创 Redshift使用技巧和常用语句
创建用户create user dev with password 'xxxxxx';创建组并加入create group data_viewer;alter group data_viewer add user dev;给组spectrum库的只读权限revoke create on schema spectrum from group data_viewer;grant usage on schema spectrum to group data_viewer;grant selec
2021-09-30 18:30:43
985
原创 ES shard Unassigned恢复提示corruption
ES出现Unassigned shard时,通常使用如下命令进行恢复即可,这里假设shard 3丢失。POST _cluster/reroute{ "commands": [ { "allocate_stale_primary": { "index": "my-index-name", "shard": 3, "node": "my-node-name",
2020-08-20 11:25:23
641
原创 Kubernetes Python API中文使用说明
创建管理员用户,授权,获取Token创建用户vi CreateServiceAccount.yamlapiVersion: v1kind: ServiceAccountmetadata: name: admin-user namespace: kube-systemkubectl create -f CreateServiceAccount.yaml用户授权vi Role...
2019-12-13 15:22:01
12137
2
原创 kubernetes 1.11.3 使用kubeadm安装步骤
写在前头本文让有意向使用原生 kubernetes 集群的企业或个人,可以方便的、系统的使用 kubeadm 的方式搭建 kubernetes 高可用集群。并且让相关的人员可以更好的理解kubernetes集群的运作机制。集群部署过程严格按照官方文档的流程非科学上网的同学同样适用PS: 本文对应的视频教程和更多的k8s内容移步慕课网实战课 ->《Kubernetes 生产级实践指...
2019-10-30 14:45:32
626
原创 详解nginx的原生被动健康检查机制&灾备使用(含测试)
nginx作为一个集web服务器、cache、7层lb于一身的全能型选手,已经应用到互联网各种领域,其高性能、易使用的技术品质深得人心,连同在其基础上二开的tengine、openresty都有很大的用户量,今天剖开讲一下nginx健康检查和灾备的机制。先简单说一下在生产环境的应用场景,健康检查就不多讲了,目的是为了实时摘掉有问题的后端。说一下灾备,我们业务上是为了做专线和公网的互备,因为有海...
2019-09-16 16:36:50
4165
1
转载 Springboot 添加Grafana监控
Introduction to Micrometer with Springboot引用:http://www.bytesville.com/springboot-micrometer-prometheus-grafana/Springboot and Springcloud has made it easier to develop Microservices in the past cou...
2018-10-17 18:35:14
12020
2
原创 GoReplay 流量压测工具的使用
依赖要使用 gor , 你需要先有一个 web server. 当然, 也可以使用 gor 自带的文件服务器, 启动如下:gor file-server :8000表示将当前目录作为文件服务器的根目录, 监听端口为 8000安装下载编译好的二进制文件 download也可以自行编译.捕获 web 流量运行如下命令:sudo ./gor --input-r...
2018-09-17 16:04:30
5680
1
原创 踩坑: supervisor中的minfds及minprocs参数用途
使用supervisor遇到的一个坑,为此还撕逼了一下午,先填了再说先来看看minfds及minprocs这两个参数在supervisor官方文档中的说明(官方文档地址http://www.supervisord.org/configuration.html#supervisord-section-values): minfds The minimum number of fil...
2018-08-08 23:27:29
6286
原创 使用Prometheus+Grafana 监控MySQL/MONGODB
1. 安装GO编译环境wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gztar -zxvf go1.10.3.linux-amd64.tar.gzmv go /data/app/govim /etc/profile #添加环境变量export GOROOT="/data/app/go"export GOPATH...
2018-07-11 15:13:09
5435
原创 elasticsearch写入优化记录,从3000到8000/s
背景基于elasticsearch-5.6.0机器配置:3个阿里云ecs节点,16G,4核,机械硬盘优化前,写入速度平均3000条/s,一遇到压测,写入速度骤降,甚至es直接频率gc、oom等;优化后,写入速度平均8000条/s,遇到压测,能在压测结束后30分钟内消化完数据,各项指标回归正常。生产配置这里我先把自己优化的值贴出来,后面有参数的详解: elasti...
2018-06-25 16:59:37
30287
3
原创 Prometheus及前沿企业级监控
一. Prometheus介绍1.pagerduty企业级告警工具。https://www.pagerduty.com 需要收费2. Prometheus的优缺点
2018-06-20 17:34:49
1125
原创 MariaDB 多主一从 RDS测试
MariaDB 多主一从 搭建测试 背景: 目前MySQL依然只支持一个Slave从一个Master复制数据,虽然也可以做到一主多备(M->S),双主复制(M<->M)等架构,但是局限性依然很大。由于项目的要求,需要各个主库的表整合到一个地方进行统计和分析,要是每次连不同的实例操作,是一件非常耗体力的操作。所以继续一种类似多主一从的实例。原文链接: http://...
2018-04-24 15:59:41
816
转载 监控Mongo慢查询
监控Mongo慢查询1. 使用mongostat监控MongoDB全局情况 mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取MongoDB的当前运行状态,并输出。 如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。 mongostat --host localhost:27017
2018-03-01 18:08:42
12535
原创 Kafka由于ext4的日志问题导致IO.WAIT升高的解决办法
先引用kafka的ext4文件系统使用注意事项Ext4 may or may not be the best filesystem for Kafka. Filesystems like XFS supposedly handle locking during fsync better. We have only tried Ext4, though.Ext4可能是也可能不是最好的文件系统,据说像X
2017-12-15 13:54:26
1463
原创 持续集成Gitlab+Jenkins - 学习笔记
一.Gitlab相关1.Gitlab的介绍: GitLab是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目。 GitLab拥有与Github类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库。它还提供一个代码片段收集功能可
2017-08-16 11:09:06
991
原创 mysql-5.6安装+Percona 监控 - 学习笔记
一.mysql-5.6安装:1.安装mysql:# groupadd mysql# useradd -r -g mysql -s /sbin/nologin mysql# wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz #下载编译完成的包,性能更可靠#
2017-08-07 18:08:21
685
原创 数据存储- tmpfs+LevelDB+SSDB - 学习笔记
一. tmpfs相关1. tmpfs的特性:1.基于内存的文件系统,RAW+SWAP,虚拟内存2.tmpfs使用虚拟内存,/dev/shm/使用共享内存3.访问速度快,可以动态调整大小4.没有持久性,重启后删除5.占用的空间不会在内存清理的时候删除(这点注意)2. tmpfs的应用场景:1.squid或nginx缓存2.PHP Session 3.存放socket4.自定义缓存3.挂载
2017-08-07 11:09:45
669
原创 分布式存储-fastdfs+glusterfs- 学习笔记
一. 存储概念1.块存储的多种实现:块存储: 就好比硬盘一样, 直接挂在到主机,一般用于主机的直接存储空间和数据库应用的存储1.磁盘+LVS: 单机硬盘纯存储2.DAS(DELL MD系列): 直连式存储3.SAN 存储: 通过FC连接2.文件存储的多种实现:文件存储:与较底层的块存储不同, 上升到了应用层, 一般指的就是 NAS ,一套网络储存设备,。1.NAS(nfs): 通过TCP/IP连
2017-07-29 20:39:29
3944
原创 分布式缓存Redis+codis集群 - 学习笔记
一. Redis基础知识 1.Redis与Memcached对比:Memcached: 不支持持久化,纯set或get性能高过redis,简单易用,支持类型单一,没有验证Redis: 支持持久化,易用,支持多种数据类型,支持集群,有基础验证
2017-07-13 17:57:11
696
原创 Nginx反向代理缓存 + CND+PHP缓存 - 学习笔记
一.缓存的概念1. Buffer,Cache的区别:buffer: 一般用于写操作,写缓冲。cache: 一般用于读操作,读缓存。它们都是解决速度不一致的问题,都设计到IO操作。2.Cache的重点关注点:1.存放位置(多级cache): 客户端(浏览器缓存) 内存(本地或者远程服务器) 硬盘(本地或者远程服务器) 2.过期时间: TTL 3.强制失效
2017-06-21 17:00:55
2165
原创 JVM原理及参数调优 - 学习笔记
一.JVM的基础知识 1.JVM内存结构:1.JVM堆内存结构:2.JVM内存分配:3.Java的堆机构和垃圾回收:4.Jvm堆内存配置参数:5.JVM新生代概念和配置:6.JVM老生代概念(不要配置,系统自动减法得出):7.JVM持久代概念:二.JVM的垃圾回收算法 1.JVM垃圾收集算法:2.JVM垃圾回收算法:2.1 复制算法2.2 标记清除算法、三.JVM的垃圾回收器 1.名词解释:2.串
2017-06-16 11:59:47
427
原创 LINUX运维常用调试命令 - 自用
1.查看进程打开哪些文件:lsof -p 18237-p: 后面跟进程号2.跟踪线程命令:strace -p 182373.Vim增加和去掉多行注解:多行注释:1. 进入命令行模式,按ctrl + v进入 visual block模式,然后按j, 或者k选中多行,把需要注释的行标记起来2. 按大写字母I,再插入注释符,例如//3. 按esc键就会全部注释了取消多行注释:1. 进入命令行模式,按
2017-06-12 16:13:15
437
原创 Tomcat 生产应用实践-调优+安全+监控 - 学习笔记
一.Java相关1. JDK,JRE,SDK名称解释:JDK就是Java DevelopmentKit.简单的说JDK是面向开发人员使用的SDK,它提供了Java的开发环境和运行环境。SDK就是Software Development Kit 一般指软件开发包,可以包括函数库、编译程序等。 JRE就是Java Runtime Enviroment是指Java的运行环境,是面向Java程序的使用者
2017-06-07 18:27:19
793
原创 TCP状态 + TIME_WAIT状态 - 学习笔记
一.TCP的11种状态1、先上图:2、全部11种状态2.1、客户端独有的:(1)SYN_SENT (2)FIN_WAIT1 (3)FIN_WAIT2 (4)CLOSING (5)TIME_WAIT 。2.2、服务器独有的:(1)LISTEN (2)SYN_RCVD (3)CLOSE_WAIT (4)LAST_ACK 。2.3、共有的:(1)CLOSED (2)ESTABLISHED 。3、状态
2017-06-05 16:24:33
631
原创 架构师反向代理Haproxy+压力测试 - 学习笔记
一.Apache的反向代理1.Apache的编译安装:yum install apr-devel apr-util-devel pcre-devel openssl-develcd /usr/local/src/wget http://archive.apache.org/dist/httpd/httpd-2.4.18.tar.gztar -zxvf httpd-2.4.18.tar.gzc
2017-05-16 19:50:22
1107
原创 架构师之DNS实战 - 学习笔记
一.DNS基础知识1.DNS相关名词解释:相关解释: 1、Serial:只是一个序号,但这个序号可被用来作为slave与master更新的依据。举例来说,master序号为100但slave序号为90时,那么这个zone file的资料就会被传送到slave来更新了。由于这个序号代表新旧资料,通常我们建立你可以利用日期来设定! 举例来说,上面的资料是在2016/01/01所修改的第一次,所以用2
2017-05-08 18:26:28
1064
原创 zabbix监控 - 学习笔记
一. 监控知识1.硬件监控:机房巡检,远程控制卡,IPMI2.系统监控:cpu负载查看(指标):uptime(低于3),top(30%-70%) 监控命令:top,vmstat 1,mpstat 1(cpu监控),free -m3.网络监控:iftop,站长工具,SmokePing,监控宝二. ZABBIX相关官方安装文档:https://www.zabbix.com/documentation
2017-05-01 21:32:36
1515
1
原创 使用Nginx+Lua实现的WAF - 学习笔记
一.OpenResty安装和测试官方网站:https://openresty.org/cn/ LUA学习:http://blog.jobbole.com/70480/1.安装OpenResty:# yum install -y readline-devel pcre-devel openssl-devel# cd /usr/local/src下载并编译安装openresty# wget ht
2017-04-28 10:06:15
6617
原创 Saltstack实现Openstack管理
一.Saltstack实现Openstack管理官方手册: https://docs.saltstack.com/en/latest/topics/cloud/openstack.html 安装环境: 172.16.1.211 salt-master服务器 172.16.1.240 openstack控制节点ps: 下面都在salt-master操作1.安装插件:yum inst
2017-04-26 17:08:10
1985
原创 运维堡垒机Gate One-学习笔记
运维操作管理理念理念一:唯有控制才能真正解决问题审计是事后行为,从来没有事前审计一说 审计可以发现问题,但是无法防止问题发生 只有在事前严格控制,才能从源头真正解决问题理念二:系统账号无法确认用户身份系统账号的作用只是区分工作角色 多人共用一个系统账号是合理的 运维人员的流动不应影响系统账号理念三:人为操作难免会出问题人有失手,马有失蹄 不怕出问题,就怕出问题找不到原因 只要机器能做的,
2017-04-25 18:21:32
2037
原创 Nginx环境ssl配置+手动生成证书
1.配置https访问:yum install nginx httpd-tools vim /etc/nginx/conf.d/docker-registry.confupstream docker-registry { server localhost:5000;}server { listen 8080; server_name registry.wmj.com; ssl on;
2017-04-20 16:38:37
1168
原创 云计算Docker实践 - 学习笔记
一. Docker介绍和安装1.Docker的组成结构:2.Docker和Openstack对比:3.安装Docker服务:yum install dockersystemctl start docker二. Docker镜像和容器管理1.下载Docker的centos官方镜像:docker pull centosdocker images2.Docker的官方镜像导出和导入:docker
2017-04-13 15:55:05
2714
原创 Cobbler自动化安装 - 学习笔记
一. Cobbler的安装和使用参考链接:http://blog.oldboyedu.com/autoinstall-cobbler/1.Cobbler的安装:yum install cobbler cobbler-web dhcp tftp-server pykickstart httpd2.启动cobbler:/etc/init.d/httpd restart/etc/init.d/cobb
2017-03-29 17:44:56
2275
原创 Saltstack实现Haproxy自动化扩容+Openstack管理 - 学习笔记
一.安装etcd服务1.安装etcd应用:wget https://github.com/coreos/etcd/releases/download/v2.2.5/etcd-v2.2.5-linux-amd64.tar.gz -O etcd-v2.2.5-linux-amd64.tar.gztar -zxvf etcd-v2.2.5-linux-amd64.tar.gcp etcd etcdctl
2017-03-28 15:01:13
1238
转载 Percona Monitoring Plugins for Zabbix
Mysql安装 下载mysql二进制包 1 2 [root@linux-node1 ~]# cd /usr/local/srcwget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz创建mysql用户 1 2 [root@linux-node2 ~]# grou
2017-03-23 15:07:54
290
转载 好用开源的Zabbix-mysql监控插件
Percona Monitoring Plugins for ZabbixMysql安装下载mysql二进制包12[root@linux-node1 ~]# cd /usr/local/src# wget http://dev.mysql.com/get/Downloads/MySQL-5.6/my
2017-03-23 11:52:12
1751
原创 修改openstack Centos镜像的默认用户的密码
Ubuntu官方提供的OpenStack镜像是用Key来登录的,太麻烦,可以改成用密码来登录。修改image的工具叫:guestfish。# yum install libguestfs-tools用它来打开一个镜像 # guestfish --rw -a trusty-server-cloudimg-amd64-disk1.imgguestfish的命令行提示符是>。你需要先运行这个镜像
2017-03-03 18:10:29
5806
原创 云计算Openstack-Liberty版 - 使用技巧 -调整主机大小,官方镜像调整
OpenStack-小技巧1.开启通过dashboard创建虚拟机时设置密码:控制节点:# vim /etc/openstack-dashboard/local_settings#下面3个改成TrueOPENSTACK_HYPERVISOR_FEATURES = { 'can_set_mount_point': True, 'can_set_password': True,
2017-03-02 17:56:35
1081
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人