ddk4044-CSDN博客

转载 postgres--流复制

配置master 192.168.2.21 5432slave 192.168.2.22 5432目录 /var/lib/pgsql/10/data/配置主库配置用户psqlcreate role rep login replication encrypted password '1qaz2wsx'; 配置访问权限 pg_hba.c...

2018-01-04 18:07:00 439

转载 postgres--wal

WAL机制持久性指事务提交后对系统的影响必须是永久的，即使系统意外宕机，也必须确保事务修改的数据已真正永久写入到永久存储中。最简单的实现方法，是在事务提交后立即将修改的数据写到磁盘。但磁盘和内存之间的IO操作是最影响数据库性能的。WAL（Write Ahead Logging），预写日志，即在数据修改后写到磁盘前，先把日志写到磁盘。确保重做日志时可以恢复事务的一致性状态...

2017-12-29 17:26:00 415

转载 postgres--vacuum

vacuum的功能回收空间数据库总是不断地在执行删除，更新等操作。良好的空间管理非常重要，能够对性能带来大幅提高。postgresql中执行delete操作后，表中的记录只是被标示为删除状态，并没有释放空间，在以后的update或insert操作中该部分的空间是不能够被重用的。在postgresql中用于维护数据库磁盘空间的工具是VACUUM，其重要的作用是删除那些已...

2017-12-26 17:53:00 415

转载 postgres10配置huge_pages

操作系统修改/boot/grub2/grub.cfg定位到第一个‘menuentry 'CentOS Linux’，在“linux16 /vmlinuz”最后面添加numa=off transparent_hugepage=never default_hugepagesz=2M hugepagesz=2M hugepages=1536*hugepagesz表示页面...

2017-12-20 18:12:00 195

转载 Postgres间隔大量写IO的解决办法

概述为了保证数据可靠性，同时还要保证好的读写性能，以及读写的一致性，经过多年的积累，REDO日志，shared buffer等基本成为关系型数据库的标配。postgres也不例外。为了保证数据的可靠性，通常在将脏页面写入硬盘前，先将wal日志先写入硬盘，然后将修改的数据异步分批写入。为了保证好的读写性能，修改的数据先写到shared buffer中，而不是直接写入硬盘...

2017-12-19 17:03:00 419

转载 PostgreSQL配置文件--其他

9 CLIENT CONNECTION DEFAULTS9.1 Statement Behavior9.1.1 search_path字符型默认：search_path = '"$user", public'当以用户登录数据库时,默认先查找哪些数据库。"$user"表示同用户名9.1.2 default_tablespace字符型默认：default_table...

2017-12-15 16:19:00 198

转载 PostgreSQL配置文件--AUTOVACUUM参数

8 AUTOVACUUM参数 AUTOVACUUM PARAMETERS8.1 autovacuum字符型默认： autovacuum = on Enable autovacuum subprocess? 'on' ，requires track_counts to also be on.表示是否开起autovacuum。特...

2017-12-15 16:13:00 678

转载 PostgreSQL配置文件--实时统计

7 实时统计 RUNTIME STATISTICS7.1 Query/Index Statistics Collector下面的参数控制是否搜集特定的数据库运行统计数据7.1.1 track_activities布尔值默认： track_activities = on是否收集每个会话的当前正在执行的命令的统计数据，包括命令开始执行的时间。7.1.2 track_c...

2017-12-15 16:08:00 167

转载 PostgreSQL配置文件--日志和错误

6 错误操作和日志 ERROR REPORTING AND LOGGING6.1 日志写到哪里 Where to Log6.1.1 log_destination字符串默认： log_destination = 'stderr' ， stderr, csvlog, syslog, and eventlog四选一6.1.2 log_directory字符串默认： lo...

2017-12-14 18:22:00 1140

转载 PostgreSQL配置文件--QUERY TUNING

5 QUERY TUNING5.1 Planner Method Configuration.下列参数控制查询优化器是否使用特定的存取方法。除非对优化器特别了解，一般情况下，使用它们默认值即可。5.1.1 enable_bitmapscan布尔型默认： enable_bitmapscan = on打开或者关闭规划器对位图扫描规划类型的使用。5.1.2 enable...

2017-12-14 17:58:00 163

转载 PostgreSQL配置文件--复制

4 复制 REPLICATION4.1 Sending Server(s)4.1.1 max_wal_senders数字型默认： max_wal_senders = 10 ，为0表示启用流复制功能。重启数据库生效在主机（master）设置，是从机连接到master的并发连接数之和。该并发连接数从进程上看，就是各个wal sender进程数之和。该值不能超过系统的最...

2017-12-14 17:50:00 169

转载 PostgreSQL配置文件--WAL

3 WAL WRITE AHEAD LOG3.1 Settings3.1.1 fsync字符串默认： fsync = on 开启后强制把数据同步更新到磁盘，可以保证数据库将在OS或者硬件崩溃的后恢复到一个一致的状态。虽然关闭，可以提升数据库性能，但无法保证数据库崩溃后数据一致性。通常情况下需要打开这个参数，除非能经受掉电或硬件故障带来的数据丢失，否则不要关闭。...

2017-12-14 17:43:00 443

转载 PostgreSQL配置文件--资源使用(除WAL外)

2 资源使用(除WAL外) RESOURCE USAGE (except for WAL)2.1 内存 Memory2.1.1 shared_buffers数字型默认： shared_buffers = 128MB ，最小值128KB重启数据库生效影响postgresql性能的重要参数之一共享缓冲区大小。postgresql对数据操作时都要先将数据从磁盘读取到内存中...

2017-12-14 17:04:00 212

转载 PostgreSQL配置文件--连接和认证

1　连接和认证 CONNECTIONS AND AUTHENTICATION1.1　连接 CONNECTIONS1.1.1　listen_addresses字符型默认： listen_addresses = 'localhost'重启数据库生效指定数据库用来监听客户端连接的TCP/IP地址。值是*表示服务器上所有的IP地址上监听用户请求。可以写成机器的名字，也可以写成...

2017-12-14 17:02:00 299

转载 postgres访问认证配置文件pg_hba.conf

pg_hba.conf（默认位于/var/lib/pgsql/10/data/pg_hba.conf）是设置访问认证的主要文件，格式为每条记录一行，每行指定一条访问认证。设定一条访问认证包含了5个部分：连接方式（type）、数据库（database）、用户名（user）、IP地址、认证方法（authentication method）。连接方式（type）共有三种：...

2017-12-05 16:04:00 938

转载 lykops运维自动化

lykopslykops是一套web可视化的运维自动化项目，基于python3+django开发的。已实现功能1、用户管理详情2、主机管理主要功能：收录主机，为其他模块（例如：执行任务）直接调用提供便利。详情3、任务执行已实现基于ansible执行运维任务。可视化、简化执行ansible（github地址，该系统称...

2017-12-05 09:23:00 148

转载 DBA不可不知的操作系统内核参数

数据库关心的OS内核参数512GB 内存为例1.参数fs.aio-max-nr 支持系统CentOS 6, 7 参数解释aio-nr & aio-max-nr: . aio-nr is the running total of the number of events specified on the io_setup s...

2017-12-04 16:32:00 195

转载 PostgreSQL on Linux 最佳部署手册

安装常用包# yum -y install coreutils glib2 lrzsz mpstat dstat sysstat e4fsprogs xfsprogs ntp readline-devel zlib-devel openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc...

2017-12-04 16:30:00 124

转载 python3+django使用celery执行某些任务失败的解决方案

.在celery 的worker启动窗口设置export PYTHONOPTIMIZE=1export PYTHONOPTIMIZE=1/usr/local/python36/bin/celery -A lykops worker -l info 转载于:https://www.cnblogs.com/lykops/p/8263108.html...

2017-11-01 00:35:00 625

转载 django+celery+redis实现运行定时任务

0、目的在开发项目中，经常有一些操作时间比较长（生产环境中超过了nginx的timeout时间），或者是间隔一段时间就要执行的任务。在这种情况下，使用celery就是一个很好的选择。celery是一个异步任务队列/基于分布式消息传递的作业队列。Celery通过消息（message）进行通信，使用代理（broker）在客户端和工作执行者之间进行交互。当开始一个任务时，客户...

2017-10-30 00:20:00 114

转载任务调度利器：Celery

Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该是最佳选择。安装Celery用pip或easy_install安装：$ sudo pip ...

2017-10-29 22:34:00 166

转载异步任务队列Celery在Django中的使用

异步任务队列Celery在Django中的使用　　前段时间在Django Web平台开发中，碰到一些请求执行的任务时间较长（几分钟），为了加快用户的响应时间，因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架，鉴于网上关于Celery和Django结合的文档较少，大部分也只是粗粗介绍了大概的流程，在实践过程中还是遇到了不少坑，希望记录...

2017-10-28 00:39:00 59

转载使用Python3解压gz、tar、tgz、zip、rar五种格式的压缩文件例子

使用Python3解压如下五种压缩文件：gz、tar、tgz、zip、rar简介gz：即gzip，通常只能压缩一个文件。与tar结合起来就可以实现先打包，再压缩。tar： linux系统下的打包工具，只打包，不压缩tgz：即tar.gz。先用tar打包，然后再用gz压缩得到的文件zip：不同于gzip，虽然使用相似的算法，可以打包压缩多个文件，不过分别压缩...

2017-10-11 22:23:00 1197

转载 Python3之uuid模块

UUID是128位的全局唯一标识符，通常由32字节的字母串表示。它可以保证时间和空间的唯一性，也称为GUID。全称为：UUID--Universally Unique IDentifier 在python 中叫做UUID，在C#中称为 GUID--Globally Unique IDentifier.它通过MAC地址，时间戳，命名空间，随机数，伪随机数来保证生成ID的唯一性。...

2017-10-09 23:16:00 81

转载 Tomcat部署多个应用时日志文件路径相同引起的问题

今天给客户部署新系统，一个前台应用，一个后台应用，由于用的是同一个架子，日志文件路径也没改，所以两个应用的日志文件是同一个文件，这样应用运行时，就会出现只能访问一个应用的情况，如果两个应用同时访问，两个应用都会奇慢。事情是这样的：部署完之后，同时访问两个应用测试一下，发现出奇慢，根本加载不出来；就去查找日志文件；没发现什么奇怪的东西；用vi命令查看日志文件的时候，整个系统...

2017-09-29 16:03:00 100

转载 kubernetes--pod的生命周期管理

下文基于kubernetes 1.5.2版本编写lifecycle概念创建资源对象时，可以使用lifecycle来管理容器在运行前和关闭前的一些动作。lifecycle有两种回调函数：PostStart：容器创建成功后，运行前的任务，用于资源部署、环境准备等。PreStop：在容器被终止前的任务，用于优雅关闭应用程序、通知其他系统等等。例1、部署代码以下...

2017-09-28 15:18:00 598

转载 etcd集群日常维护

配置文件和启动参数说明命令行 | 配置文件 | 说明data-dir | ETCD_DATA_DIR | 指定节点的数据存储目录，包括节点ID，集群ID，集群初始化配置，Snap...

2017-09-27 16:26:00 148

转载让外部网络访问K8S service的四种方式

本文基于kubernetes 1.5.2版本编写kube-proxy+ClusterIPkubernetes版本大于或者等于1.2时，配置：修改master的/etc/kubernetes/proxy，把KUBE_PROXY_ARGS=”“改为KUBE_PROXY_ARGS=”–proxy-mode=userspace”重启kube-proxy服务在核心路由设备或者...

2017-09-21 15:45:00 105

转载 Kubernetes 针对资源紧缺处理方式的配置

如何在资源紧缺的情况下，保证 Node 的稳定性，是 Kubelet 需要面对的一个重要的问题。尤其对于内存和磁盘这种不可压缩的资源，紧缺就相当于不稳定。在kubelet启动作为参数或者在配置文件中配置驱逐策略Kubelet 能够监控资源消耗，来防止计算资源被耗尽。一旦出现资源紧缺的迹象，Kubelet 就会主动终止一或多个 Pod 的运行，以回收紧俏资源。当一个 Pod 被...

2017-09-18 14:25:00 325

转载基于Prometheus,Alermanager实现Kubernetes自动伸缩

到目前为止Kubernetes对基于cpu使用率的水平pod自动伸缩支持比较良好，但根据自定义metrics的HPA支持并不完善，并且使用起来也不方便。下面介绍一个基于Prometheus和Alertmanager实现Kubernetes Pod 自动伸缩的方案，该方案支持任意自定义metrics。思路比较简单：由Prometheus负责收集需要的性能指标（如：当前链接的并发数...

2017-09-18 14:16:00 107

转载 kubernetes监控--Prometheus

本文基于kubernetes 1.5.2版本编写kube-state-metricskubectl create ns monitoringkubectl create sa -n monitoring kube-state-metricscat << EOF > kube-state-metrics.yamlapiVersion: extensi...

2017-09-18 13:58:00 381

转载 kubernetes社区项目生态概览

原文 http://dockone.io/article/2075 作为容器集群管理技术的最流行的技术，kubernetes，自从2014在github上开源后，已经通过多个项目形成了一个生态，以下是从用户角度对这些项目做一个基本的认知kubernetes主项目，实现了容器集群的调度管理，并以restful接口的形式暴露出来，可以认为是云操作系统的的内核ap...

2017-09-13 14:58:00 71

转载 kubernetes 实用 api list

https://192.168.20.128:6443/api/v1/pods原文来自https://segmentfault.com/a/1190000002937665收集整理一些可能较常用的api，结合kubernetes的自动化系统以及监控可能会用到。注：涉及到POST方法中的json为发送的数据体。get nodecurl -i -k -H ...

2017-09-12 15:45:00 126

转载 Ansible2：主机清单

Ansible 通过读取默认的主机清单配置/etc/ansible/hosts,可以同时连接到多个远程主机上执行任务,默认路径可以通过修改 ansible.cfg 的 hostfile 参数指定路径。一、Hosts and Groups（主机与组）对于/etc/ansible/hosts最简单的定义格式像下面：1、简单的主机和组 mail.yanruogu...

2017-09-10 01:42:00 83

转载 ansible的inventory文件含义

默认文件为/etc/ansible/hosts例如[test]web.yinzhipeng.comdhcp ansible_ssh_host=172.16.18.1951.中括号中的名字代表组名2.主机(hosts)部分可以使用域名、主机名、IP地址表示；当然使用前两者时，也需要主机能反解析到相应的IP地址，一般此类配置中多使用IP地址；3.别名，例如dhcp那...

2017-09-10 01:41:00 146

转载为docker创建ubuntu带SSH的基础镜像

安装Debootstrapubuntu操作系统：apt install debootstrapcentos操作系统：yum install debootstrap构建基础Ubuntu的rootfsdebootstrap --verbose --arch=amd64 xenial ubuntu16.04 http://mirrors.aliyun.com/ubuntu说...

2017-09-07 17:22:00 181

转载制作ubuntu16.04的docker镜像

来自http://www.jianshu.com/p/029a1ed4fd64背景因为笔者是在vagrant转移到docker的玩家，所以对系统镜像情有独钟。如果你是windows、mac用户，那么你可能就需要一个干净的系统镜像，来使用docker（docker依赖于linux内核）。而在linux下开发的话，则无需再安装任何系统镜像，直接使用docker即可。在此背景下...

2017-09-07 14:32:00 548

转载 python3.6使用pickle序列化class

from library.connecter.database.mongo import Op_Mongoa = pickle.dumps(Op_Mongo)#序列化b = pickle.loads(a)#反序列化转载于:https://www.cnblogs.com/lykops/p/8263128.html

2017-09-06 00:48:00 78

转载 kubernetes1.5.2--部署node-problem-detector服务

本文基于kubernetes 1.5.2版本编写node经常会遇到以下问题:硬件问题: cpu 内存磁盘内核问题: 内核死锁, 文件系统损坏容器问题: 守护进程无响应K8S集群管理对node的健康状态是无法感知的，pod依旧会调度到有问题的node上，通过DaemonSet部署node-problem-detector，向apiserver上报node的状态...

2017-09-05 18:06:00 346

转载 kubernetes1.5.2--部署监控服务

本文基于kubernetes 1.5.2版本编写Heapster是kubernetes集群监控工具。在1.2的时候，kubernetes的监控需要在node节点上运行cAdvisor作为agent收集本机和容器的资源数据，包括cpu、内存、网络、文件系统等。在新版的kubernetes中，cAdvisor被集成到kubelet中。通过netstat可以查看到kubelet...

2017-09-01 20:34:00 174

空空如也

空空如也