- 博客(18)
- 收藏
- 关注
RSS订阅转载 一个电子围栏需求的脚本记录
需求：系统对接了厂家的GPS数据，基于这些GPS数据，过滤出指定区域的数据从网上找到了一个电子围栏的python脚本，现在需要的是循环取数据判断是否在指定区域，在指定区域就把这部分数据拿出来放到另外一个库表1、效率问题碰到的其中一个问题是脚本的效率问题，以5W条数据来测试脚本1：使用cur.fetchone()，逐条读取数据，逐条判断，逐条插入列表，批量入库，批量commit #!/us...
2019-04-19 22:19:00
311
转载 关于死锁
1、问题应用经常出现如下日志2、死锁定义指两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。死锁是事务系统中客观存在的事实，你的应该在设计上必须应该考虑处理死锁。一些业务系统可以从头重试事务。2.1 关于共享锁和排它锁Innodb存储引擎实现了如下2种标准的行级锁：共享锁(S lock)，允许事务读取一行数据。排它锁(X loc...
2019-04-05 21:35:00
199
转载 xtrabackup工具备份与恢复
1、xtrabackup简介Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具InnoDB Hotbackup的一个很好的替代品。它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）。XtraBackup支持所有的Percona Server、MySQL、MariaDB和Driz...
2019-03-28 22:33:00
529
转载 应用执行存储过程超时问题
系统点击某个按钮，执行某个动作的时候，执行不成功，出现如下日志提示：** BEGIN NESTED EXCEPTION ** java.net.SocketExceptionMESSAGE: Socket closedSTACKTRACE:java.net.SocketException: Socket closedat java.net.SocketInputStream.socket...
2019-03-15 10:45:00
1426
转载 iostat命令
iostst用于分析CPU和磁盘i/o相关的统计信息1、安装linux下yum install sysstat2、参数说明 -c 仅显示CPU统计信息.与-d选项互斥. -d 仅显示磁盘统计信息.与-c选项互斥 ---常用 -k 以K为单位显示每秒的磁盘请求数,默认单位块. --常用 -m 以M为单位显示每秒的磁盘请求数 -p device | ALL 与-x选项互斥,用于...
2019-01-23 22:09:00
194
转载 Linux top命令的用法详细详解
参考：https://www.cnblogs.com/zhoug2020/p/6336453.html1、命令字段详解top命令的输出如下第一行：系统运行时间和平均负载当前时间、系统已运行时间、当前登录用户的数量、最近5、10、15分钟内的平均负载第二行：任务任务的总数、运行中(running)的任务、休眠(sleeping)中的任务、停止(stopped)的任务、僵尸状态(zombie...
2019-01-18 19:56:00
812
转载 sar命令
sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。1、命令与参数-A:所有报告的总和,如下图-b:显示I/O和传递速率的统计信息字段释义备注tps磁盘每秒钟的IO总数，...
2019-01-15 21:40:00
95
转载 使用LVM进行分区扩展的记录
场景：在磁盘分区空间不够的情况下，要扩展分区空间因为使用的是虚拟机，所以可以对原有的硬盘上进行扩展，而不需要新增一个硬盘1、扩展磁盘并使用fdisk工具进行分区虚拟机关机后对磁盘进行扩展，扩展到500G查看磁盘已扩展使用fdisk工具进行分区此时可看到多了一个分区分区完后需要重启下2、创建pv（物理卷）使用pvcreate命令创建pv（物理卷）pvcreate /dev/xvda3此时多...
2019-01-05 22:14:00
91
转载 python笔记-文件读写
文件操作过程一般为：打开、读写、关闭；打开：open()或file()读写：read()、write()；关闭：close()；1、打开：open()或file()file_handler=open(filename,,mode)使用file()打开文件或者使用open也行2、读写：read()、write()如下写:mode:r : 只读r+ : 读写w : 覆盖写，如果无则创建w+ ...
2018-12-08 14:49:00
79
转载 AWK编程
1、awk的概述文本处理工具，由于功能的强大，也可以当做是一种数据操作语言，非常适合结构化数据的处理和格式化报表的生成，awk可以进行样式装入、流控制、数学运算符、甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。为什么叫awk？三个人(Alfred Aho、 Peter Weinberger 、Brian Kernighan。)一起创造了这款工具，awk分别是他...
2018-12-05 21:28:00
209
转载 ORA-01555错误
有这样一种情况0:00 我们开始查询,查询的数据是100万条0:01 一个session update了第100万条数据0:01 update提交了，完成1:00 我们的查询还在继续，只读到了20万1:01 还有很多的事务在运行3:00 我们的查询还在继续，读到了60万4:00 事务量较大，或者undo较小，我们的undo不得已开始被覆盖了重复写了，刚好这第100万条记录被覆盖了5:00...
2018-12-01 16:39:00
152
转载 group_concat的使用
1、场景仓库使用系统实现了先进先出，给仓库的备货单原先设计如下模式：tx3表：不同的批次分开行显示，仓库从这个备货单可以知道这个货品需要备货哪些批次，多少数量用了几天，仓库对此备货单样式提出如下看法一个备货单很多个货品，一个货品如果存在很多批次，一个备货单需要打印几张纸，比较麻烦不够直观，希望很直观看到某个货品总的需求量，需要备货的批次与分别的数量于是，使用group_concat实现此...
2018-11-29 22:10:00
160
转载 expect-调试模式的使用
1、expect简介Expect是一种TCL扩展性的语言，主要用于完成系统交互方面的功能，比如SSH、FTP等，这些程序都需要手工与它们进行互动，而使用Expect就可以模拟人手工互动的过程，是一种自动的方式控制。在使用shell编写巡检脚本的过程中，常使用expect工具与巡检机器进行交互。通常我们在碰到expect脚本异常的时候，这就需要使用到调试模式来具体分析。2、安装与打开...
2018-11-25 22:15:00
2320
转载 python发送html格式的邮件
python发邮件 1 #!/usr/bin/python 2 # -*- coding: UTF-8 -*- 3 import smtplib 4 from email.mime.text import MIMEText 5 import string 6 mailto_list=["XX@163.com","XXX@163.com"] 7 print ...
2018-11-25 16:34:00
288
转载 一个ping大包不通问题的解决过程
1、问题描述存在问题： 深圳的采集机MQ程序无法与应用服务器进行通讯，表现为：获取小数据时正常，获取大数据时超时场景图如下2、数据下载测试使用SCP工具和FTP工具进行数据下载测试，主要是想排除采集机上MQ与应用服务器上应用的问题2.1、在深圳采集机1上执行命令从应用服务器取数据数据走向：应用服务器->深圳采集机1结果：失败2.2、在深圳采集机2上执行命令从应用...
2018-11-21 22:52:00
8865
转载 SSH端口转发
在这之前要检查下端口转发功能是否已开启，必须要配置/etc/ssh/sshd_config，文件中允许端口转发，重启sshAllowTcpForwarding yes1、本地端口转发场景如下：ssh client与ssh server的概念ssh client（启动一个端口等待连接的一方）ssh server（使用ssh client通过隧道发送过来的数据就进行转发的...
2018-11-19 23:04:00
163
转载 一个项目中mysql数据库经常死锁的问题解决记录
1、问题描述此项目为一个物流系统，需要使用PDA对货物进行入库、备货、出货等操作，在系统开发测试过程中，经常发现死锁问题。有这样一种业务场景：仓库对备货单上货进行扫码备货后，点击”完成”以确定完成了该备货单，才能进行下一步的发车动作，也即是说，如果不对单进行”完成”动作，就无法进行发车。仓库使用人员经常反馈已经点击了完成，但是不生效。此问题很诡异，有时很正常，有时频繁发生，联系开发人...
2018-11-15 22:08:00
303
转载 xtrabackup全库还原+binlog日志还原
1、场景mysql数据库误删某个库、误删表或者误删除数据如下模拟图：备份策略定为每天凌晨进行全库备份，在B时间点进行了误操作以后，有两种恢复场景，一种是恢复到B时间点误操作前，一种是恢复到C时间点以下为恢复到B时间点误操作前需要说明的是，使用xtrabackup进行还原需要关闭数据库，为了避免关闭数据库造成的业务影响，在运维工作中可以提前搭建一个用于还原的备用数据库，...
2018-11-15 20:47:00
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人