2020年10月_Hehuyi_In

转载 mysql grant 用户权限总结

Mysql 有多少个权限？经常记不住，今天总结一下，看后都能牢牢的记在心里啦！！很明显总共28个权限：下面是具体的权限介绍：一、权限表mysql数据库中的3个权限表：user、db、host。权限表的查询过程是：先从user表中的host、 user、 password这3个字段中判断连接的IP、用户名、密码是否存在表中，存在则通过身份验证；通过权限验证，进行权限分配时，按照user,db,tables_priv,columns_priv的顺序进行分配。即先检查全局权限表.

2020-10-31 23:15:42 2443

原创如何抢救恢复 rm -rf 误删除的文件？

Linux中有一种可怕的误操作 ——rm -rf 误删除文件。对于数据库而言，如果误删除了数据文件，而数据库进程还没挂掉的话，可以尝试抢救一下。注意误rm后千万不要去重启数据库。对于其他文件，下面方法也是适用的，也要注意千万不要去重启相关进程。一、误删除用户数据文件模拟高危操作，没事千万不要在生产环境执行。SQL> select name from v$datafile;NAME-----------------------------------------------..

2020-10-31 16:03:41 5653 1

原创阿里云 DTS迁移自建SQL Server注意事项

当完整备份数据库的时候，我们有时候可能会遇到一种极端情况，比如服务器上C,D,E三个盘符都只剩下5G空间了但是如果要完整备份业务库需要12G的空间，那么这时候怎么办呢？使用文件组备份吗？但是数据库没有做表分区，没有分多个文件组，就只有一个主文件组啊这时候我们可以使用备份文件分割我使用自己机器示范一下，我的机器上有一个Temp2的数据库，数据库大小为1GB备份我们做一个Temp2数据库的完整备份DECLARE @CurrentTime VARCHAR(50),..

2020-10-30 19:25:16 1802

原创 Python Django（一）—— Django 简介、安装、创建第一个项目

Django 是一个由 Python 编写的一个开放源代码的 Web 应用框架。使用 Django，只要很少的代码，Python 的开发人员就可以轻松地完成一个正式网站所需要的大部分内容，并进一步开发出全功能的 Web 服务。Python +Django 是快速开发、设计、部署网站的最佳组合。Django 版本与 Python 环境的对应表如下，建议对照表来选择Django和Python版本，以免造成不兼容等问题。 Django 版本 Python 版本 ...

2020-10-25 19:13:06 22681 7

转载 Oracle 集群的自启动，OLR与套接字文件

当Oracle集群安装部署完成后，默认会处于启动的状态，当服务器重启之后集群也会被自动启动，那么，Oracle集群是如何来实现自启动的呢？一、集群的自启动1. 自启动脚本Oracle 10G:cat/etc/inittabh1:35:respawn:/etc/init.d/init.evmdrun>/dev/null2>&1</dev/nullh2:35:respawn:/etc/init.d/init.cssdfatal>/dev/n...

2020-10-24 20:28:17 2724 1

原创 oracle、sqlserver、postgresql、mysql 批量kill会话脚本汇总

备份对DB是否有影响热备 -- 可在DB运行时备份，对DB操作无影响温备 -- 可在DB运行时备份，但对DB操作有影响，例如会加全局读锁等冷备 -- 在DB停止时备份备份后文件内容逻辑备份 -- 备份文件可读，通常是sql语句或表实际数据(mysqldump) 物理备份 -- 备份DB物理文件(ibbackup,xtr...

2020-10-24 12:54:40 3321 1

转载 SQL Server 变更数据捕获（CDC）vs 更改跟踪（Chang Tracking）

一、简介在2008版本之前，通常使用DML触发器监控对表数据库的变更，但是触发器的维护比较困难，性能也不高。2008推出了新功能变更数据捕获（Change Data Capture，即CDC）。二、实现过程（Realization）1. 启用CDC例如我们的测试库名为CDC_DB--启用数据库CDC USE CDC_DB GO EXECUTE sys.sp_cdc_enable_db; GO --检查启用是否成功 SELECT is_cdc_enabled,CA.

2020-10-24 00:00:20 5013

转载 SQL Server 动态行转列（参数化表名、分组列、行转列字段、字段值）

一、构造测试数据--创建测试表IF EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[TestRows2Columns]') AND type in (N'U'))DROP TABLE [dbo].[TestRows2Columns]GOCREATE TABLE [dbo].[TestRows2Columns]( [Id] [int] IDENTITY(1,1) NOT NULL,

2020-10-23 18:32:13 7693 1

原创阿里云 DTS迁移自建Oracle优缺点及注意事项记录

经过三个多星期花式踩坑终于迁移成功，记录下DTS优点和迁移过程中遇到的各种问题。一、注意事项迁移表必须有主键或唯一索引，否则DTS不保证数据一致支持以DG库作为DTS源，主从库均需开启PK,UK补充日志，只开DG库的会无法进行增量同步注意源和目标库字符集，如果不一致迁移后可能出现乱码或遇到字段长度报错等若要同步表比较大，须加大主从库undo_retention参数及undo表空间，在较空闲时操作，否则可能遇到ora-1555报错根据阿里云回复DTS任务重启后大约会从中断前5分.

2020-10-20 12:26:39 14659

原创 Oracle等待事件（三）—— buffer busy waits 常见原因及对应解决方法

也先看看buffer busy waits在官方文档中的描述This wait indicates that there are some buffers in the buffer cache that multiple processes are attempting to access concurrently. Query V$WAITSTAT for the wait statistics for each class of buffer. Common buffer classes tha

2020-10-13 17:25:28 5646

原创 Oracle等待事件（一）—— latch cache buffers chains 分析与优化思路

慢sql -> event: latch cbc等待事件 -> v$session P1RAW字段（内存地址原始值） (p1,2,3字段) ->找到内存地址对应对象select FILE#,DBARFIL,DBABLK,TCH from X$bh where HLADDR='v$session P1RAW字段' order by TCH desc多跑几次找到排在前列的...

2020-10-13 12:14:56 4105

原创 sqlserver 定位大量占用tempdb的sql语句

有时会收到tempdb日志文件使用率超过90%的告警，最准确的处理方式是直接登上去看有哪些长时间运行且会大量消耗tempdb的语句在执行，但有时刚好不方便操作，在登录查看时sql已经执行完了，事后难判断。查询文章发现还可以通过tempdb分配情况去分析，不过要注意这种方法找到的只是问题会话，未必能找到导致问题的sql，感觉配合扩展事件的慢sql监控应该能解决这个问题。查看tempdb...

2020-10-07 19:05:14 4708 1

原创《AWK程序设计语言》笔记（1）—— AWK入门与简单案例

原文为《The AWK Programming Language》，GitHub上有中译版，不过有些内容翻译的比较奇怪，建议跟原版对照着看https://github.com/wuzhouhui/awk本篇的小案例基本均基于文件emp.data，三个字段分别为：员工名、每小时工资、工作时长，每一行代表一个雇员的记录Beth 4.00 0Dan 3.75 0Kathy 4.00 10Mark 5.00 20Mary 5.50 22Susie 4.25 18一、 AWK入门1...

2020-10-05 00:34:14 1745

原创《Linux性能优化实战》笔记（24）—— 动态追踪 DTrace

上一节，我以 ksoftirqd CPU 使用率高的问题为例，带你一起学习了内核线程 CPU 使用率高时的分析方法。先简单回顾一下。当碰到内核线程的资源使用异常时，很多常用的进程级性能工具，并不能直接用到内核线程上。这时，我们就可以使用内核自带的 perf 来观察它们的行为，找出热点函数，进一步定位性能瓶颈。不过，perf 产生的汇总报告并不直观，所以我通常也推荐用火焰图来协助排查。其实，使用 perf 对系统内核线程进行分析时，内核线程依然还在正常运行中，所以这种方法也被称为动态追踪技术。

2020-10-04 00:50:51 4432

原创《Linux性能优化实战》笔记（25）—— 总结：Linux 性能工具速查

性能工具速查在梳理性能工具之前，首先给你提一个问题，那就是，在什么情况下，我们才需要去查找、挑选性能工具呢？你可以先自己想一下，再继续下面的内容。其实在我看来，只有当你想了解某个性能指标，却不知道该怎么办的时候，才会想到，“要是有一个性能工具速查表就好了”这个问题。如果已知一个性能工具可用，我们更多会去查看这个工具的手册，找出它的功能、用法以及注意事项。关于工具手册的查看，man 应该是我们最熟悉的方法，我在专栏中多次介绍过。实际上，除了 man 之外，还有另外一个查询命令手册的方法，也就是

2020-10-04 00:01:45 1598

原创《Linux性能优化实战》笔记（23）—— 内核线程 CPU 利用率过高，perf 与火焰图

在排查网络问题时，我们还经常碰到的一个问题，就是内核线程的 CPU 使用率很高。比如，在高并发的场景中，内核线程 ksoftirqd 的 CPU 使用率通常就会比较高。回顾一下前面学过的 CPU 和网络模块，你应该知道，这是网络收发的软中断导致的。而要分析 ksoftirqd 这类 CPU 使用率比较高的内核线程，如果用我前面介绍过的那些分析方法，你一般需要借助于其他性能工具，进行辅助分析。比如，还是以 ksoftirqd 为例，如果你怀疑是网络问题，就可以用 sar、tcpdump 等分析网络

2020-10-03 23:39:41 3019

原创《Linux性能优化实战》笔记（22）—— 网络丢包问题分析

所谓丢包，是指在网络数据的收发过程中，由于种种原因，数据包还没传输到应用程序中，就被丢弃了。这些被丢弃包的数量，除以总的传输包数，也就是我们常说的丢包率。丢包率是网络性能中最核心的指标之一。丢包通常会带来严重的性能下降，特别是对 TCP 来说，丢包通常意味着网络拥塞和重传，进而还会导致网络延迟增大、吞吐降低。接下来，我就以最常用的反向代理服务器 Nginx 为例，带你一起看看，如何分析网络丢包的问题。执行下面的 hping3 命令，进一步验证 Nginx 是不是真的可以正常访问了。注意.

2020-10-03 21:42:45 3701

原创《Linux性能优化实战》笔记（21）—— 网络性能优化思路

确定优化目标跟 CPU 和 I/O 方面的性能优化一样，优化前，我会先问问自己，网络性能优化的目标是什么？换句话说，我们观察到的网络性能指标，要达到多少才合适呢？实际上，虽然网络性能优化的整体目标，是降低网络延迟（如 RTT）和提高吞吐量（如BPS 和 PPS），但具体到不同应用中，每个指标的优化标准可能会不同，优先级顺序也大相径庭。就拿上一节提到的 NAT 网关来说，由于其直接影响整个数据中心的网络出入性能，所以NAT 网关通常需要达到或接近线性转发，也就是说， PPS 是最主要的性能目标。

2020-10-03 20:30:10 1961

原创《Linux性能优化实战》笔记（20）—— 使用 tcpdump 和 Wireshark 分析网络流量

很多情况下，ping 可以帮我们定位出延迟问题，不过有时候， ping 本身也会出现意想不到的问题。这时，就需要我们抓取 ping 命令执行时收发的网络包，然后分析这些网络包，进而找出问题根源。tcpdump 和 Wireshark 就是最常用的网络抓包和分析工具，更是分析网络性能必不可少的利器。tcpdump 仅支持命令行格式使用，常用在服务器中抓取和分析网络包。Wireshark 除了可以抓包外，还提供了强大的图形界面和汇总分析工具，在分析复杂的网络情景时，尤为简单和实用。因而，在实际分

2020-10-02 22:37:08 1739

原创《Linux性能优化实战》笔记（十九）—— DNS 解析原理与故障案例分析

域名与 DNS 解析域名我们本身都比较熟悉，由一串用点分割开的字符组成，被用作互联网中的某一台或某一组计算机的名称，目的就是为了方便识别，互联网中提供各种服务的主机位置。要注意，域名是全球唯一的，需要通过专门的域名注册商才可以申请注册。为了组织全球互联网中的众多计算机，域名同样用点来分开，形成一个分层的结构。而每个被点分割开的字符串，就构成了域名中的一个层级，并且位置越靠后，层级越高。我们以极客时间的网站 time.geekbang.org 为例，来理解域名的含义。这个字符串中，最后面的 or

2020-10-02 21:08:44 2841

原创《Linux性能优化实战》笔记（十七）—— Linux网络基础与性能指标

网络模型说到网络，我想你肯定经常提起七层负载均衡、四层负载均衡，或者三层设备、二层设备等等。那么，这里说的二层、三层、四层、七层又都是什么意思呢？实际上，这些层都来自国际标准化组织制定的开放式系统互联通信参考模型（OpenSystem Interconnection Reference Model），简称为 OSI 网络模型。为了解决网络互联中异构设备的兼容性问题，并解耦复杂的网络包处理流程，OSI 模型把网络互联的框架分为应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层等七层，每

2020-10-01 11:20:14 1634

Hehuyi_In的博客