- 博客(114)
- 收藏
- 关注
转载 postgres--流复制
配置master 192.168.2.21 5432slave 192.168.2.22 5432目录 /var/lib/pgsql/10/data/配置主库配置用户psqlcreate role rep login replication encrypted password '1qaz2wsx'; 配置访问权限 pg_hba.c...
2018-01-04 18:07:00
439
转载 postgres--wal
WAL机制持久性指事务提交后对系统的影响必须是永久的,即使系统意外宕机,也必须确保事务修改的数据已真正永久写入到永久存储中。最简单的实现方法,是在事务提交后立即将修改的数据写到磁盘。但磁盘和内存之间的IO操作是最影响数据库性能的。WAL(Write Ahead Logging),预写日志,即在数据修改后写到磁盘前,先把日志写到磁盘。确保重做日志时可以恢复事务的一致性状态...
2017-12-29 17:26:00
415
转载 postgres--vacuum
vacuum的功能回收空间数据库总是不断地在执行删除,更新等操作。良好的空间管理非常重要,能够对性能带来大幅提高。postgresql中执行delete操作后,表中的记录只是被标示为删除状态,并没有释放空间,在以后的update或insert操作中该部分的空间是不能够被重用的。在postgresql中用于维护数据库磁盘空间的工具是VACUUM,其重要的作用是删除那些已...
2017-12-26 17:53:00
415
转载 postgres10配置huge_pages
操作系统修改/boot/grub2/grub.cfg定位到第一个‘menuentry 'CentOS Linux’,在“linux16 /vmlinuz”最后面添加numa=off transparent_hugepage=never default_hugepagesz=2M hugepagesz=2M hugepages=1536*hugepagesz表示页面...
2017-12-20 18:12:00
195
转载 Postgres间隔大量写IO的解决办法
概述为了保证数据可靠性,同时还要保证好的读写性能,以及读写的一致性,经过多年的积累,REDO日志,shared buffer等基本成为关系型数据库的标配。postgres也不例外。为了保证数据的可靠性,通常在将脏页面写入硬盘前,先将wal日志先写入硬盘,然后将修改的数据异步分批写入。为了保证好的读写性能,修改的数据先写到shared buffer中,而不是直接写入硬盘...
2017-12-19 17:03:00
419
转载 PostgreSQL配置文件--其他
9 CLIENT CONNECTION DEFAULTS9.1 Statement Behavior9.1.1 search_path字符型默认:search_path = '"$user", public'当以用户登录数据库时,默认先查找哪些数据库。"$user"表示同用户名9.1.2 default_tablespace字符型默认:default_table...
2017-12-15 16:19:00
198
转载 PostgreSQL配置文件--AUTOVACUUM参数
8 AUTOVACUUM参数 AUTOVACUUM PARAMETERS8.1 autovacuum字符型默认: autovacuum = on Enable autovacuum subprocess? 'on' ,requires track_counts to also be on.表示是否开起autovacuum。特...
2017-12-15 16:13:00
678
转载 PostgreSQL配置文件--实时统计
7 实时统计 RUNTIME STATISTICS7.1 Query/Index Statistics Collector下面的参数控制是否搜集特定的数据库运行统计数据7.1.1 track_activities布尔值默认: track_activities = on是否收集每个会话的当前正在执行的命令的统计数据,包括命令开始执行的时间。7.1.2 track_c...
2017-12-15 16:08:00
167
转载 PostgreSQL配置文件--日志和错误
6 错误操作和日志 ERROR REPORTING AND LOGGING6.1 日志写到哪里 Where to Log6.1.1 log_destination字符串默认: log_destination = 'stderr' , stderr, csvlog, syslog, and eventlog四选一6.1.2 log_directory字符串默认: lo...
2017-12-14 18:22:00
1140
转载 PostgreSQL配置文件--QUERY TUNING
5 QUERY TUNING5.1 Planner Method Configuration.下列参数控制查询优化器是否使用特定的存取方法。除非对优化器特别了解,一般情况下,使用它们默认值即可。5.1.1 enable_bitmapscan布尔型默认: enable_bitmapscan = on打开或者关闭规划器对位图扫描规划类型的使用。5.1.2 enable...
2017-12-14 17:58:00
163
转载 PostgreSQL配置文件--复制
4 复制 REPLICATION4.1 Sending Server(s)4.1.1 max_wal_senders数字型默认: max_wal_senders = 10 , 为0表示启用流复制功能。重启数据库生效在主机(master)设置,是从机连接到master的并发连接数之和。该并发连接数从进程上看,就是各个wal sender进程数之和。该值不能超过系统的最...
2017-12-14 17:50:00
169
转载 PostgreSQL配置文件--WAL
3 WAL WRITE AHEAD LOG3.1 Settings3.1.1 fsync字符串默认: fsync = on 开启后强制把数据同步更新到磁盘,可以保证数据库将在OS或者硬件崩溃的后恢复到一个一致的状态。虽然关闭,可以提升数据库性能,但无法保证数据库崩溃后数据一致性。通常情况下需要打开这个参数,除非能经受掉电或硬件故障带来的数据丢失,否则不要关闭。...
2017-12-14 17:43:00
443
转载 PostgreSQL配置文件--资源使用(除WAL外)
2 资源使用(除WAL外) RESOURCE USAGE (except for WAL)2.1 内存 Memory2.1.1 shared_buffers数字型默认: shared_buffers = 128MB ,最小值128KB重启数据库生效影响postgresql性能的重要参数之一共享缓冲区大小。postgresql对数据操作时都要先将数据从磁盘读取到内存中...
2017-12-14 17:04:00
212
转载 PostgreSQL配置文件--连接和认证
1 连接和认证 CONNECTIONS AND AUTHENTICATION1.1 连接 CONNECTIONS1.1.1 listen_addresses字符型默认: listen_addresses = 'localhost'重启数据库生效指定数据库用来监听客户端连接的TCP/IP地址。值是*表示服务器上所有的IP地址上监听用户请求。可以写成机器的名字,也可以写成...
2017-12-14 17:02:00
299
转载 postgres访问认证配置文件pg_hba.conf
pg_hba.conf(默认位于/var/lib/pgsql/10/data/pg_hba.conf)是设置访问认证的主要文件,格式为每条记录一行,每行指定一条访问认证。设定一条访问认证包含了5个部分:连接方式(type)、数据库(database)、用户名(user)、IP地址、认证方法(authentication method)。连接方式(type) 共有三种:...
2017-12-05 16:04:00
938
转载 lykops运维自动化
lykopslykops是一套web可视化的运维自动化项目,基于python3+django开发的。已实现功能1、用户管理详情2、主机管理主要功能:收录主机,为其他模块(例如:执行任务)直接调用提供便利。详情3、任务执行已实现基于ansible执行运维任务。可视化、简化执行ansible(github地址,该系统称...
2017-12-05 09:23:00
148
转载 DBA不可不知的操作系统内核参数
数据库关心的OS内核参数512GB 内存为例1.参数fs.aio-max-nr 支持系统CentOS 6, 7 参数解释aio-nr & aio-max-nr: . aio-nr is the running total of the number of events specified on the io_setup s...
2017-12-04 16:32:00
195
转载 PostgreSQL on Linux 最佳部署手册
安装常用包# yum -y install coreutils glib2 lrzsz mpstat dstat sysstat e4fsprogs xfsprogs ntp readline-devel zlib-devel openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc...
2017-12-04 16:30:00
124
转载 python3+django使用celery执行某些任务失败的解决方案
.在celery 的worker启动窗口设置export PYTHONOPTIMIZE=1export PYTHONOPTIMIZE=1/usr/local/python36/bin/celery -A lykops worker -l info 转载于:https://www.cnblogs.com/lykops/p/8263108.html...
2017-11-01 00:35:00
625
转载 django+celery+redis实现运行定时任务
0、目的在开发项目中,经常有一些操作时间比较长(生产环境中超过了nginx的timeout时间),或者是间隔一段时间就要执行的任务。在这种情况下,使用celery就是一个很好的选择。celery是一个异步任务队列/基于分布式消息传递的作业队列。Celery通过消息(message)进行通信,使用代理(broker)在客户端和工作执行者之间进行交互。当开始一个任务时,客户...
2017-10-30 00:20:00
114
转载 任务调度利器:Celery
Celery是Python开发的分布式任务调度模块,今天抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送邮件的服务。Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQ、Redis甚至是数据库,当然Redis应该是最佳选择。安装Celery用pip或easy_install安装:$ sudo pip ...
2017-10-29 22:34:00
166
转载 异步任务队列Celery在Django中的使用
异步任务队列Celery在Django中的使用 前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架,鉴于网上关于Celery和Django结合的文档较少,大部分也只是粗粗介绍了大概的流程,在实践过程中还是遇到了不少坑,希望记录...
2017-10-28 00:39:00
59
转载 使用Python3解压gz、tar、tgz、zip、rar五种格式的压缩文件例子
使用Python3解压如下五种压缩文件:gz、tar、tgz、zip、rar简介gz: 即gzip,通常只能压缩一个文件。与tar结合起来就可以实现先打包,再压缩。tar: linux系统下的打包工具,只打包,不压缩tgz:即tar.gz。先用tar打包,然后再用gz压缩得到的文件zip: 不同于gzip,虽然使用相似的算法,可以打包压缩多个文件,不过分别压缩...
2017-10-11 22:23:00
1197
转载 Python3之uuid模块
UUID是128位的全局唯一标识符,通常由32字节的字母串表示。它可以保证时间和空间的唯一性,也称为GUID。全称为:UUID--Universally Unique IDentifier 在python 中叫做UUID,在C#中称为 GUID--Globally Unique IDentifier.它通过MAC地址,时间戳,命名空间,随机数,伪随机数来保证生成ID的唯一性。...
2017-10-09 23:16:00
81
转载 Tomcat部署多个应用时日志文件路径相同引起的问题
今天给客户部署新系统,一个 前台应用,一个后台应用,由于用的是同一个架子,日志文件路径也没改,所以两个应用的日志文件是同一个文件,这样应用运行时,就会出现只能访问一个应用的情况,如果两个应用同时访问,两个应用都会奇慢。事情是这样的: 部署完之后,同时访问两个应用测试一下,发现出奇慢,根本加载不出来; 就去查找日志文件;没发现什么奇怪的东西;用vi命令查看日志文件的时候,整个系统...
2017-09-29 16:03:00
100
转载 kubernetes--pod的生命周期管理
下文基于kubernetes 1.5.2版本编写lifecycle概念创建资源对象时,可以使用lifecycle来管理容器在运行前和关闭前的一些动作。lifecycle有两种回调函数:PostStart:容器创建成功后,运行前的任务,用于资源部署、环境准备等。PreStop:在容器被终止前的任务,用于优雅关闭应用程序、通知其他系统等等。例1、部署代码以下...
2017-09-28 15:18:00
598
转载 etcd集群日常维护
配置文件和启动参数说明命令行 | 配置文件 | 说明data-dir | ETCD_DATA_DIR | 指定节点的数据存储目录,包括节点ID,集群ID,集群初始化配置,Snap...
2017-09-27 16:26:00
148
转载 让外部网络访问K8S service的四种方式
本文基于kubernetes 1.5.2版本编写kube-proxy+ClusterIPkubernetes版本大于或者等于1.2时,配置:修改master的/etc/kubernetes/proxy,把KUBE_PROXY_ARGS=”“改为KUBE_PROXY_ARGS=”–proxy-mode=userspace”重启kube-proxy服务在核心路由设备或者...
2017-09-21 15:45:00
105
转载 Kubernetes 针对资源紧缺处理方式的配置
如何在资源紧缺的情况下,保证 Node 的稳定性,是 Kubelet 需要面对的一个重要的问题。尤其对于内存和磁盘这种不可压缩的资源,紧缺就相当于不稳定。在kubelet启动作为参数或者在配置文件中配置驱逐策略Kubelet 能够监控资源消耗,来防止计算资源被耗尽。一旦出现资源紧缺的迹象,Kubelet 就会主动终止一或多个 Pod 的运行,以回收紧俏资源。当一个 Pod 被...
2017-09-18 14:25:00
325
转载 基于Prometheus,Alermanager实现Kubernetes自动伸缩
到目前为止Kubernetes对基于cpu使用率的水平pod自动伸缩支持比较良好,但根据自定义metrics的HPA支持并不完善,并且使用起来也不方便。下面介绍一个基于Prometheus和Alertmanager实现Kubernetes Pod 自动伸缩的方案,该方案支持任意自定义metrics。思路比较简单:由Prometheus负责收集需要的性能指标(如:当前链接的并发数...
2017-09-18 14:16:00
107
转载 kubernetes监控--Prometheus
本文基于kubernetes 1.5.2版本编写kube-state-metricskubectl create ns monitoringkubectl create sa -n monitoring kube-state-metricscat << EOF > kube-state-metrics.yamlapiVersion: extensi...
2017-09-18 13:58:00
381
转载 kubernetes社区项目生态概览
原文 http://dockone.io/article/2075 作为容器集群管理技术的最流行的技术,kubernetes,自从2014在github上开源后,已经通过多个项目形成了一个生态,以下是从用户角度对这些项目做一个基本的认知kubernetes主项目,实现了容器集群的调度管理,并以restful接口的形式暴露出来,可以认为是云操作系统的的内核ap...
2017-09-13 14:58:00
71
转载 kubernetes 实用 api list
https://192.168.20.128:6443/api/v1/pods原文来自https://segmentfault.com/a/1190000002937665收集整理一些可能较常用的api,结合kubernetes的自动化系统 以及 监控可能会用到。注:涉及到POST方法中的json为发送的数据体。get nodecurl -i -k -H ...
2017-09-12 15:45:00
126
转载 Ansible2:主机清单
Ansible 通过读取默认的主机清单配置/etc/ansible/hosts,可以同时连接到多个远程主机上执行任务,默认路径可以通过修改 ansible.cfg 的 hostfile 参数指定路径。一、Hosts and Groups(主机与组)对于/etc/ansible/hosts最简单的定义格式像下面:1、简单的主机和组 mail.yanruogu...
2017-09-10 01:42:00
83
转载 ansible的inventory文件含义
默认文件为/etc/ansible/hosts例如[test]web.yinzhipeng.comdhcp ansible_ssh_host=172.16.18.1951.中括号中的名字代表组名2.主机(hosts)部分可以使用域名、主机名、IP地址表示;当然使用前两者时,也需要主机能反解析到相应的IP地址,一般此类配置中多使用IP地址;3.别名,例如dhcp那...
2017-09-10 01:41:00
146
转载 为docker创建ubuntu带SSH的基础镜像
安装Debootstrapubuntu操作系统:apt install debootstrapcentos操作系统:yum install debootstrap构建基础Ubuntu的rootfsdebootstrap --verbose --arch=amd64 xenial ubuntu16.04 http://mirrors.aliyun.com/ubuntu说...
2017-09-07 17:22:00
181
转载 制作ubuntu16.04的docker镜像
来自http://www.jianshu.com/p/029a1ed4fd64背景因为笔者是在vagrant转移到docker的玩家,所以对系统镜像情有独钟。如果你是windows、mac用户,那么你可能就需要一个干净的系统镜像,来使用docker(docker依赖于linux内核)。而在linux下开发的话,则无需再安装任何系统镜像,直接使用docker即可。在此背景下...
2017-09-07 14:32:00
548
转载 python3.6使用pickle序列化class
from library.connecter.database.mongo import Op_Mongoa = pickle.dumps(Op_Mongo)#序列化b = pickle.loads(a)#反序列化 转载于:https://www.cnblogs.com/lykops/p/8263128.html
2017-09-06 00:48:00
78
转载 kubernetes1.5.2--部署node-problem-detector服务
本文基于kubernetes 1.5.2版本编写node经常会遇到以下问题:硬件问题: cpu 内存 磁盘内核问题: 内核死锁, 文件系统损坏容器问题: 守护进程无响应K8S集群管理对node的健康状态是无法感知的,pod依旧会调度到有问题的node上,通过DaemonSet部署node-problem-detector,向apiserver上报node的状态...
2017-09-05 18:06:00
346
转载 kubernetes1.5.2--部署监控服务
本文基于kubernetes 1.5.2版本编写Heapster是kubernetes集群监控工具。在1.2的时候,kubernetes的监控需要在node节点上运行cAdvisor作为agent收集本机和容器的资源数据,包括cpu、内存、网络、文件系统等。在新版的kubernetes中,cAdvisor被集成到kubelet中。通过netstat可以查看到kubelet...
2017-09-01 20:34:00
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人