- 博客(380)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 zabbix告警信息-lykchat信息发送系统
lykchat信息发送系统是Python3开发的，通过模拟微信网页端，基于个人微信号，为系统管理人员提供信息发送工具。 实现的功能有用户登录管理、微信登陆管理和微信信息发送功能。
2017-04-03 00:15:08
2696
原创 模拟登陆web微信的流程和参数细节
模拟登陆web微信的流程和参数细节https://github.com/lykops/lykchat/这几天在用python3写了一个模拟登陆web微信，发送和接受信息的lykchat信息发送系统，解决zabbix发送告警信息的问题。发现步骤不多，但需要的参数太多了把流程和细节分享出来
2017-01-22 14:41:54
7878
原创 django快速获取项目所有的URL
django快速获取项目所有的URLdjango1.10快速获取项目所有的URL列表，可以用于权限控制函数如下：import redef get_url(urllist , parent='' , depth=0 , url_list=[] , url_dict={}): for entry in urllist: url = entry.regex.pattern
2017-01-06 09:26:33
1659
原创 pycurl检测网站性能，pycurl.*_TIME时间问题
今天使用python+pycurl来检测网站性能，使用curl_obj.getinfo(pycurl.*_TIME)来获取各个阶段运行时间total_time = curl_obj.getinfo(pycurl.TOTAL_TIME)#传输结束所消耗的总时间dns_time = curl_obj.getinfo(pycurl.NAMELOOKUP_TIME)#从发起请求到DNS解析完成所
2016-12-08 14:46:48
2043
原创 python3 django models保存filefiled字段统一目录、不修改文件名的方法
最经编写一个model时处理filefiled，使用post_form.save()进行新增和编辑文件保存位置不统一，如果出现重复文件名重复的话，上传文件名会被改名。
2016-12-07 23:15:10
1435
原创 Python+Django 复选框选择多个，但提交时只能保存一个的解决办法
之前，做表单时使用单选方式，今天修改为复选框方式提交。问题来了：在选择多个后保存，发现竟然只能最后一个选择。print(request.POST)显示只有最后一个print(str(request.POST))结果为:: {...... 'name': ['电信'], 'type': ['硬件供应商', '服务供应商', '电信运营商', '机房供应商', '硬件制造商', '软件
2016-12-04 22:20:58
3720
原创 python元组中只有一个元素的问题
在python中，元组中只报元素时，调用时发现竟然变成了元素值例如：a=(2)print(a)2解决方法：在元素后面添加逗号（,）a=(2,)print(a)(2,)猜测原因：认为是运算公式
2018-07-05 00:04:18
1863
原创 postgresql10监控-使用EXTENSIONS模式
postgres配置需要安装postgresql10-contrib在/var/lib/pgsql/10/data/postgresql.conf最后添加shared_preload_libraries = 'pg_stat_statements'pg_stat_statements.max = 10000pg_stat_statements.track = all
2018-01-17 15:39:19
784
postgresql10监控-使用EXTENSIONS模式
postgres配置需要安装postgresql10-contrib在/var/lib/pgsql/10/data/postgresql.conf最后添加shared_preload_libraries = 'pg_stat_statements'pg_stat_statements.max = 10000pg_stat_statements.track = all...
2018-01-17 15:39:00
552
原创 postgres--流复制
配置master 192.168.2.21 5432slave 192.168.2.22 5432目录 /var/lib/pgsql/10/data/配置主库配置用户psqlcreate role rep login replication encrypted password '1qaz2wsx'; 配置访问权限 pg_hba.conf
2018-01-04 18:07:09
1131
postgres--流复制
配置master 192.168.2.21 5432slave 192.168.2.22 5432目录 /var/lib/pgsql/10/data/配置主库配置用户psqlcreate role rep login replication encrypted password '1qaz2wsx'; 配置访问权限 pg_hba.co...
2018-01-04 18:07:00
262
原创 postgres--wal
WAL机制持久性指事务提交后对系统的影响必须是永久的，即使系统意外宕机，也必须确保事务修改的数据已真正永久写入到永久存储中。最简单的实现方法，是在事务提交后立即将修改的数据写到磁盘。但磁盘和内存之间的IO操作是最影响数据库性能的。WAL（Write Ahead Logging），预写日志，即在数据修改后写到磁盘前，先把日志写到磁盘。确保重做日志时可以恢复事务的一致性状态，而
2017-12-29 17:26:10
844
postgres--wal
WAL机制持久性指事务提交后对系统的影响必须是永久的，即使系统意外宕机，也必须确保事务修改的数据已真正永久写入到永久存储中。最简单的实现方法，是在事务提交后立即将修改的数据写到磁盘。但磁盘和内存之间的IO操作是最影响数据库性能的。WAL（Write Ahead Logging），预写日志，即在数据修改后写到磁盘前，先把日志写到磁盘。确保重做日志时可以恢复事务的一致性状态...
2017-12-29 17:26:00
194
原创 postgres--vacuum
vacuum的功能回收空间数据库总是不断地在执行删除，更新等操作。良好的空间管理非常重要，能够对性能带来大幅提高。postgresql中执行delete操作后，表中的记录只是被标示为删除状态，并没有释放空间，在以后的update或insert操作中该部分的空间是不能够被重用的。在postgresql中用于维护数据库磁盘空间的工具是VACUUM，其重要的作用是删除那些已经
2017-12-26 17:53:50
2326
postgres--vacuum
vacuum的功能回收空间数据库总是不断地在执行删除，更新等操作。良好的空间管理非常重要，能够对性能带来大幅提高。postgresql中执行delete操作后，表中的记录只是被标示为删除状态，并没有释放空间，在以后的update或insert操作中该部分的空间是不能够被重用的。在postgresql中用于维护数据库磁盘空间的工具是VACUUM，其重要的作用是删除那些...
2017-12-26 17:53:00
229
原创 postgres10配置huge_pages
操作系统修改/boot/grub2/grub.cfg定位到第一个‘menuentry 'CentOS Linux’，在“linux16 /vmlinuz”最后面添加numa=off transparent_hugepage=never default_hugepagesz=2M hugepagesz=2M hugepages=1536*hugepagesz表示页面大小
2017-12-20 18:12:55
823
postgres10配置huge_pages
操作系统修改/boot/grub2/grub.cfg定位到第一个‘menuentry 'CentOS Linux’，在“linux16 /vmlinuz”最后面添加numa=off transparent_hugepage=never default_hugepagesz=2M hugepagesz=2M hugepages=1536*hugepagesz表示...
2017-12-20 18:12:00
222
原创 Postgres间隔大量写IO的解决办法
概述为了保证数据可靠性，同时还要保证好的读写性能，以及读写的一致性，经过多年的积累，REDO日志，shared buffer等基本成为关系型数据库的标配。postgres也不例外。为了保证数据的可靠性，通常在将脏页面写入硬盘前，先将wal日志先写入硬盘，然后将修改的数据异步分批写入。为了保证好的读写性能，修改的数据先写到shared buffer中，而不是直接写入硬盘，因为
2017-12-19 17:03:41
2518
Postgres间隔大量写IO的解决办法
概述为了保证数据可靠性，同时还要保证好的读写性能，以及读写的一致性，经过多年的积累，REDO日志，shared buffer等基本成为关系型数据库的标配。postgres也不例外。为了保证数据的可靠性，通常在将脏页面写入硬盘前，先将wal日志先写入硬盘，然后将修改的数据异步分批写入。为了保证好的读写性能，修改的数据先写到shared buffer中，而不是直接写入硬...
2017-12-19 17:03:00
165
原创 PostgreSQL配置文件--其他
9 CLIENT CONNECTION DEFAULTS9.1 Statement Behavior9.1.1 search_path字符型默认：search_path = '"$user", public'当以用户登录数据库时,默认先查找哪些数据库。"$user"表示同用户名9.1.2 default_tablespace字符型默认：default_tablespa
2017-12-15 16:19:15
710
PostgreSQL配置文件--其他
9 CLIENT CONNECTION DEFAULTS9.1 Statement Behavior9.1.1 search_path字符型默认：search_path = '"$user", public'当以用户登录数据库时,默认先查找哪些数据库。"$user"表示同用户名9.1.2 default_tablespace字符型默认：default_tables...
2017-12-15 16:19:00
142
原创 PostgreSQL配置文件--AUTOVACUUM参数
8 AUTOVACUUM参数 AUTOVACUUM PARAMETERS8.1 autovacuum字符型默认： autovacuum = on Enable autovacuum subprocess? 'on' ，requires track_counts to also be on.表示是否开起autovacuum。特别的，当需要
2017-12-15 16:13:56
817
PostgreSQL配置文件--AUTOVACUUM参数
8 AUTOVACUUM参数 AUTOVACUUM PARAMETERS8.1 autovacuum字符型默认： autovacuum = on Enable autovacuum subprocess? 'on' ，requires track_counts to also be on.表示是否开起autovacuum。特别的，当...
2017-12-15 16:13:00
451
原创 PostgreSQL配置文件--实时统计
7 实时统计 RUNTIME STATISTICS7.1 Query/Index Statistics Collector下面的参数控制是否搜集特定的数据库运行统计数据7.1.1 track_activities布尔值默认： track_activities = on是否收集每个会话的当前正在执行的命令的统计数据，包括命令开始执行的时间。7.1.2 track_cou
2017-12-15 16:08:29
730
PostgreSQL配置文件--实时统计
7 实时统计 RUNTIME STATISTICS7.1 Query/Index Statistics Collector下面的参数控制是否搜集特定的数据库运行统计数据7.1.1 track_activities布尔值默认： track_activities = on是否收集每个会话的当前正在执行的命令的统计数据，包括命令开始执行的时间。7.1.2 track_c...
2017-12-15 16:08:00
173
原创 PostgreSQL配置文件--日志和错误
6 错误操作和日志 ERROR REPORTING AND LOGGING6.1 日志写到哪里 Where to Log6.1.1 log_destination字符串默认： log_destination = 'stderr' ， stderr, csvlog, syslog, and eventlog四选一6.1.2 log_directory字符串默认： log_d
2017-12-14 18:22:11
2677
PostgreSQL配置文件--日志和错误
6 错误操作和日志 ERROR REPORTING AND LOGGING6.1 日志写到哪里 Where to Log6.1.1 log_destination字符串默认： log_destination = 'stderr' ， stderr, csvlog, syslog, and eventlog四选一6.1.2 log_directory字符串默认： log...
2017-12-14 18:22:00
1073
原创 PostgreSQL配置文件--QUERY TUNING
5 QUERY TUNING5.1 Planner Method Configuration.下列参数控制查询优化器是否使用特定的存取方法。除非对优化器特别了解，一般情况下，使用它们默认值即可。5.1.1 enable_bitmapscan布尔型默认： enable_bitmapscan = on打开或者关闭规划器对位图扫描规划类型的使用。5.1.2 enable_h
2017-12-14 17:58:54
671
PostgreSQL配置文件--QUERY TUNING
5 QUERY TUNING5.1 Planner Method Configuration.下列参数控制查询优化器是否使用特定的存取方法。除非对优化器特别了解，一般情况下，使用它们默认值即可。5.1.1 enable_bitmapscan布尔型默认： enable_bitmapscan = on打开或者关闭规划器对位图扫描规划类型的使用。5.1.2 enable...
2017-12-14 17:58:00
292
原创 PostgreSQL配置文件--复制
4 复制 REPLICATION4.1 Sending Server(s)4.1.1 max_wal_senders数字型默认： max_wal_senders = 10 ， 为0表示启用流复制功能。重启数据库生效在主机（master）设置，是从机连接到master的并发连接数之和。该并发连接数从进程上看，就是各个wal sender进程数之和。该值不能超过系统的最大连接数(
2017-12-14 17:50:42
548
PostgreSQL配置文件--复制
4 复制 REPLICATION4.1 Sending Server(s)4.1.1 max_wal_senders数字型默认： max_wal_senders = 10 ， 为0表示启用流复制功能。重启数据库生效在主机（master）设置，是从机连接到master的并发连接数之和。该并发连接数从进程上看，就是各个wal sender进程数之和。该值不能超过系统的最大连接数(ma...
2017-12-14 17:50:00
139
原创 PostgreSQL配置文件--WAL
3 WAL WRITE AHEAD LOG3.1 Settings3.1.1 fsync字符串默认： fsync = on 设置同步方式 强制把数据同步更新到磁盘因为系统的IO压力很大，为了更好的测试其他配置的影响，把改参数改为off3.1.2 wal_level字符型默认： wal_level = replica
2017-12-14 17:43:19
3091
PostgreSQL配置文件--WAL
3 WAL WRITE AHEAD LOG3.1 Settings3.1.1 fsync字符串默认： fsync = on 开启后强制把数据同步更新到磁盘，可以保证数据库将在OS或者硬件崩溃的后恢复到一个一致的状态。虽然关闭，可以提升数据库性能，但无法保证数据库崩溃后数据一致性。通常情况下需要打开这个参数，除非能经受掉电或硬件故障带来的数据丢失，否则不要关闭。...
2017-12-14 17:43:00
461
原创 PostgreSQL配置文件--资源使用(除WAL外)
2 资源使用(除WAL外) RESOURCE USAGE (except for WAL)2.1 内存 Memory2.1.1 shared_buffers数字型默认： shared_buffers = 128MB ，最小值128KB，建议为总内存大小的1/4重启数据库生效数据库的共享内存大小影响postgresql性能的重要参数之一通过shared_buffers和内核和磁
2017-12-14 17:04:21
658
PostgreSQL配置文件--资源使用(除WAL外)
2 资源使用(除WAL外) RESOURCE USAGE (except for WAL)2.1 内存 Memory2.1.1 shared_buffers数字型默认： shared_buffers = 128MB ，最小值128KB重启数据库生效影响postgresql性能的重要参数之一共享缓冲区大小。postgresql对数据操作时都要先将数据从磁盘读取到内存中，然...
2017-12-14 17:04:00
216
原创 PostgreSQL配置文件--连接和认证
1 连接和认证 CONNECTIONS AND AUTHENTICATION1.1 连接 CONNECTIONS1.1.1 listen_addresses字符型默认： listen_addresses = 'localhost'重启数据库生效指定数据库用来监听客户端连接的TCP/IP地址。值是*表示服务器上所有的IP地址上监听用户请求。可以写成机器的名字，也可以写成IP地址，
2017-12-14 17:02:02
1097
PostgreSQL配置文件--连接和认证
1 连接和认证 CONNECTIONS AND AUTHENTICATION1.1 连接 CONNECTIONS1.1.1 listen_addresses字符型默认： listen_addresses = 'localhost'重启数据库生效指定数据库用来监听客户端连接的TCP/IP地址。值是*表示服务器上所有的IP地址上监听用户请求。可以写成机器的名字，也可以写成IP地...
2017-12-14 17:02:00
375
原创 postgres访问认证配置文件pg_hba.conf
pg_hba.conf（默认位于/var/lib/pgsql/10/data/pg_hba.conf）是设置访问认证的主要文件，格式为每条记录一行，每行指定一条访问认证。设定一条访问认证包含了5个部分：连接方式（type）、数据库（database）、用户名（user）、IP地址、认证方法（authentication method）。连接方式（type） 共有三种：loc
2017-12-05 16:04:17
2441
postgres访问认证配置文件pg_hba.conf
pg_hba.conf（默认位于/var/lib/pgsql/10/data/pg_hba.conf）是设置访问认证的主要文件，格式为每条记录一行，每行指定一条访问认证。设定一条访问认证包含了5个部分：连接方式（type）、数据库（database）、用户名（user）、IP地址、认证方法（authentication method）。连接方式（type） 共有三种：local、ho...
2017-12-05 16:04:00
200
原创 lykops运维自动化
lykops是一套web可视化的运维自动化项目，基于python3+django开发的。可视化、简化执行ansible任务，并提供详细的任务执行报告。
2017-12-05 09:23:52
767
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人