- 博客(81)
- 收藏
- 关注
RSS订阅原创 已安装的nginx添加第三方模块
nginx添加网上很多动态的第三方模块教程，都是在讲./configure后替换nginx执行文件，今天我尝试以一波他们的方法没有成功，记录下我的操作。环境和版本：centos7 niginx1.16前提，NG想要动态的可扩展第三方模块必须要编译安装才行，所以yum安装的洗洗睡吧编译安装很简单，在ng官方下载源码解压后，进入文件夹第一层直接运行：./configure --pre...
2019-07-02 11:54:02
981
原创 python3文件夹监控模块watchdog学习
网上搜索python的文件夹监控，windows下推荐的大多数都是watchdog，萌新的我就学习了下这个模块。这模块看了很久的git，没看懂，后来把git的示范代码拉在电脑上跑了一次就懂了，所以对于看不懂各个帖子写的介绍的，建议先把git上官方举例代码拉下来跑一次。先安装watchdog，watchdog主要使用三个角色：1、Observer可以通过以下命令导入：from...
2019-06-29 19:20:43
13122
原创 Oracle 字符串拆分做条件方案
一般Oracle存过接受外部传入的数据有两种方式：1、每个参数定义一个入参变量2、只定义一个入参变量，外部所有参数都按照特定格式的字符串传给变量后，数据库进行字符串切分处理。当然，作为一个dba，我还是喜欢每个参数定义一个入参变量，后期的扩展维护都比传入字符串强，当然缺点就是传入参数不能太多，要是有十几个的传参就要定义十几个变量，用起来也麻烦。然而很不巧的是，我所在的公司的存...
2019-06-25 11:54:27
978
原创 python package/module/函数 简单解释
最近写python的时候有的刚接触python的朋友问我什么是包，什么是模块，作用是什么。他们说网上的解释大多数是从一些专业的角度进行描述，但是对于新接触的人来看，根本看不懂这些专业的描述。这里我就通俗易懂的简单解释下python 的函数、模块、包的意思，当然通俗的解释并不全面，但是对于新接触的人应该能很好的理解。默认使用windows的pycharm进行描述和解释：python 函...
2019-06-22 01:30:37
2764
1
原创 Qlik sense开发入门/可视化BI报表开发入门
最近开发公司的BI可视化报表，接触了Qlik报表工具，使用过程中发现网上入门教程很少，因此写一篇入门开发经历。啥也不说，先上一个已经开发完成的需求中的其中一个展示页面截图：如上图， Qlik这个工具直接实现，Qlik是收费可视化BI中排行前三的工具了，能和微软的BI一拼高下，使用感觉还是不错的，几亿的数据分析，我用过最长半个小时就出结果，个人感觉还可以，听说收费很贵，估计小公司...
2019-05-23 10:36:39
12393
原创 多实例MySQL安装踩过的坑
上周在测试机上编译安装了一个MySQL做升级测试，本来测试机上就有个cluster集群的单实例，为了不冲突，所以选择了编译安装。编译安装的好处就是能自己控制软件安装的目录，指定默认配置文件地址等，便于磁盘管理，卸载也很方便，文件夹一删就完事。MySQL编译安装需要在官网上下载source源码包，5.7的源码包大约几十兆大小，不过在编译过程中产生的缓存文件有好几个G，这里一定要留足空间...
2019-05-13 10:42:22
279
原创 MySQL dump进行5.6迁移升级到5.7踩过的坑
测试库机器主板出现问题总是重启，于是安排了Oracle和MySQL都迁移到新的机器上，Oracle迁移用Rman导出导入就行了，注意要导出archive log和control file，没啥难度。MySQL老的测试机上用的是5.6版本NDB引擎，新的测试机上搭建的5.7的单节点数据，遇到一些坑，记录下避免以后再犯傻。由于老的机器用的5.6是NDB，新的是单节点的innodb，所以在迁移...
2019-05-06 14:56:55
3126
原创 Oracle系统基础原理和逻辑随笔
Oracle系统基础开篇一句话，数据库都是对日志的关心远超于对磁盘数据的关心，缓存日志纪录的是数据时时的变化情况，对于已经落盘的数据，重要性远没有还在日志中变化的数据来的重要，即便是数据库down了，落盘的数据都能追回，而缓存的数据可能会丢失导致数据无法保证一致性，所以开发数据库要重点关心动态的日志文件。掌握的术语：alter log 警告日志、archived redo log...
2019-04-28 13:52:11
387
原创 RMAN Oracle数据库备份
Oracle的数据备份模式分为两种：逻辑备份物理备份逻辑备份呢就是使用dxpdp等自带小工具进行数据导出备份物理备份有两种方式，一是直接拷贝数据，二是用RMAN。所以，按照我理解来看，RMAN是属于物理备份类的。物理备份有点嘛，当然是完整了高效了，缺点嘛也很明显，为了保证事物的一致性物理备份基本上都要求停机操作。线上不可能说没事停个机来进行备份，所以在9g以后的...
2019-04-24 17:23:36
380
原创 MySQL cluster集群/NDB集群学习
公司主业务用的MySQL集群是官方自带的MySQL Cluster，MySQL自带的集群模式，这个集群的模式和MGR、PXC、主从 有点不一样。一、存储引擎不是innodb，MySQL Cluster用的是NDB引擎二、数据存储方式不同，MySQL的其他集群方式数据是存在磁盘上的，中间数据的缓存用rely log纪录，之后持久化的写入要硬盘而MySQL Cluster集群的数据是保存在...
2019-04-24 10:15:10
2004
转载 PL/SQL Oracle中object栏目下文件夹的功能介绍
1，recent objects你最近访问或是使用过的对象。 就是一个记录,相当于的最近访问的内容列表。2，recycle bin（1）、回收站启动和关闭回收站默认是开启的.不过我们可以通过参数recyclebin来关闭和开启.如果只是针对每个session可以通过alter session set recyclebin=off; 和 alter session set recycle...
2019-04-22 10:49:07
1794
原创 Oracle常用符号、条件纪录
Oracle种有很多标点符号表示一些功能，这些符号用起来很方便，节约了很多SQL的跳转逻辑，这里持续的纪录一些遇到的常用符号，对写SQL语句有一定帮助。常用比较：>、<、>= 、 <=、<>/!= 、这些大于小于，建议能不用就不用，不走索引的，要使用也要放在索引条件之后常用包含：in、not in、 exits not、 exits 常用包含...
2019-04-22 10:16:12
557
原创 Oracle高速导入CSV数据\高速导出sql数据
说着是导入CSV，其实格式不定，文本也可以，只是导入数据几十个G的时候大多数都是用CSV来存的，所以就把名字写成了导入CSV。这里说的是导入数据，之前我也写过导入库、表、schema等方式，对于外来的纯数据，没有怎么纪录过，所以这篇文章主要是针对数据的导入。方式用Oracle自带的SQL loader。命令式sqlldr，这个工具是安装完Oracle就有的，不需要额外下载。效率有多快...
2019-04-19 10:21:11
2170
原创 MySQL压力测试/sysbench使用
今天进行了MySQL pxc集群的压测，一般在做项目的时候DBA需要根据业务自定义数据库使用类型，所以在决定阶段，DBA就要根据对业务的预估进行数据库集群的筛选，同时也要对数据库进行压测。压测的目的是为了测试该机器在哪些条件下数据库压力较大，数据库在该机器的瓶颈大概在哪里。而不是说，我要对比那个数据库性能更好，所谓的性能都是在已经定义好物理机的情况下去找更合适的。所以新的物理机理论上在选择和安...
2019-04-17 17:46:29
1277
原创 Oracle存储过程4 -- 存过的类比理解
DBA时间做长了，难免会涉及到一些其他的小功能开发，写写python啊、Java啊之类，回过头来，再看下数据库开发，突然觉得存过理解清晰了许多。我是这样类比的，对于业务需求，假设我们使用python开发一个需求，那么在包的下层，肯定是写的业务方法，根据python的方法传参写法：def A(x,y)： return总结下来，实现一个方法的开发，格式是声明一个函...
2019-04-04 09:21:30
520
原创 日志分析系统/监控系统后端实现
公司领导想要看到系统按省份、成功率、业务来分类的时时访问监控图像，虽然说是个没啥用的项目，既然老板发话了，还是去做吧，前端显示页面不是自己开发，前端只需要来数据库抽取我时时计算出的结果展示出来就行了，心里一万只草泥马，那就意味着后端所有斗得自己做了。想了下咋实现呢，监控访问量嘛，最简单通用的方法无非就是读取端口日志，查了下日志，刚好包含了有我所需的字段，所以问题就从0头绪变成了-----日志分...
2019-03-14 17:04:00
808
原创 centos7.4搭建MySQL-MHA集群
本次测验实现的是centos7.4+MySQL8.0-mha，为啥是8.0，其实和5.7搭建没啥区别，之前用5.7也实现了，后来DBA老大哥说，用8.0来试试吧，8.0有聚合函数，所以我又重新搭成了8.0版本的mha，本身配置并无区别；由于个人测试机有限，本次实现是在docker容器里搭建的，虽说是容器，但从centos7.4基础镜像开始搭建服务，并指定独立IP和端口，实现配置和物理机并无差异...
2019-02-20 13:32:59
1380
原创 centos7搭建aria2+yaaw
aira2下载神器就不多说了，以前都是搭建好后在服务器上操作，比较麻烦，这次我给他搭建了一个yaaw的web页面，实现浏览器操作，方便许多。 主要操作几个点：1、aria2服务安装与配置2、yaaw的web服务安装与配置3、实现浏览器远程连接的nginx服务安装于配置4、浏览器连接的安全访问--通过apache或者nginx设置账户密码登陆连接web服务aria2安装...
2019-02-13 10:45:03
2181
原创 docker容器/linux主机之间实现SSH互通
2019-11.13更新经验证，以下方案不仅仅适用于docker，也适用于x86 linux主机或者树莓派等arm架构的linux公司业务上要求增加数据库，当前生产环境用的是MySQL-cluster集群，非常吃内存且它的高并发性能在新的需求上用不到，要求新搭建一套新的MySQL集群，在此之前要求做一份MySQL各个集群性能测试报告，由于我只有一台测试机，所以要实现多个集群的测试，我准备通...
2019-02-11 17:44:16
2582
原创 docker运行datax实现数据同步方案 -- datax/Oracle-Oracle/MySQL篇
之前已经构建好了datax镜像，只差最后一步，datax运行 datax的使用很简单：python datax.py 配置文件.json以上命令就可以直接使用datax了，本次就来分解以上命令 首先python打头执行命令，datax.py是datax自带的，该可执行文件再datax的bin目录下，最后加上执行的配置文件配置文件大体结构是：读数据库+各种读取信息...
2019-01-03 11:12:29
1649
3
原创 docker运行datax实现数据同步方案 -- docker build 篇
上一篇纪录了datax及其docker commit测试方法，这里我推荐使用自动构建docker build构建一个带jdk+maven+python的docker镜像。docker build基础理论就是先获得一个基础镜像，然后对镜像做的每一步骤操作都封装，一步一步的得到一个多重操作封装过的功能镜像。其中在封装的过程中有几个指定的命令参数，具体可以自行百度，这里分享下用docker buil...
2019-01-03 10:03:57
3419
1
原创 docker运行datax实现数据同步方案 --docker commit方式测试
公司的归档库正式提出要搭建了，于是纪录搭建归档库的方案和过程。 需要备份的库是生产Oracle主库，由于没有归档机制，公司经过8年时间的运行，对于多个表的数据查询已经累积到十亿级别，查询效率已经很低下了，鉴于数据库的IO压力，我提出了建立归档机制，把长时间不经常使用的数据转移到独立的数据库，保证生产的高效率。 归档方案是吧两年前的数据转移到归档库上，每天定时执行一次。归档库的设...
2018-12-29 17:25:34
4623
原创 xtrabackup实现MySQL自动备份
MySQL备份有多种方式，自带有冷备份工具，但是对于生产来说备份不可能停机进行，所以公认目前最好用的是xtrabackup这个工具； xtrabackup目前已经更新到8.0了，在2.4.9及其之前的版本备份所用的命令和2.4.11开始后的版本所用的备份命令有所不同，2.4.9之前的版本备份命令：innobackupex [--defaults-file=#] +参数简单的来...
2018-12-14 08:48:17
3092
原创 Redis离线搭建主从结构
最近给跟总公司那边做项目，权限管理比较严个，服务器不能链接外网没办法yum安装redis服务，写下这篇记录下离线搭建redis过程。 本次搭建的机器属性：centos7.2 root权限下，由于保密协议本文出现的ip地址为修改的虚假地址redis搭建主从结构，安装包都是一样的，直接从官网下载稳定版本即可，最终主从的实现是通过修改配置文件达到的，redis官网下载地址为：https:/...
2018-12-04 17:52:17
264
原创 Rsync 实现window服务器数据同步备份到Linux服务器
公司最近window服务器各种磁盘告警，都是老机器了，一时半会也没有新机器来扩容，于是我就想把MySQL的每日全量文件备份到Linux新机器上（别问为啥是每日全量，历史问题）；查询了下方案，大致分为两类：1、FTP/SSH等方式直接同步；服务端主动推送2、通过第三方客户端同步，如本次使用的Rsync；客户端主动获取 由于我要实现的是备份，代表着我不仅仅要把数据同步到Linux上...
2018-10-29 17:35:58
1484
原创 MySQL now()/sysdate()效率对比
今天优化sql，遇到一个查询很慢的sql： 查询时间花了接近5分钟，查看发现时间字段都是有索引的，于是查看了下执行计划发现走的是全表扫描，一脸懵，明明有索引啊，为啥没走。查询官方文档： 所以这里看出，sysdate()不会走索引，于是改为now（）：结果走了索引，秒级出现值，所以在MySQL取当前时间的时候，记得一定要用now。...
2018-10-17 14:34:05
4243
原创 docker环境下MYSQL PXC集群热备份和还原
之前搭建了在docker上搭建了一套MySQL的PXC集群，当时没有做备份处理，今天搭建了一套备份方案。MySQL的数据备份方式有很多种，如自带的MySQLDUMP命令，或者直接拷贝数据文件等等方式，但是这些方式都是系统的冷备份，即需要停机服务进行备份，这种方式我没有采用。本次备份方案是热备份，MySQL的热备份的方式有两种：1、LVM 2、xtrabackuplvm是Linux自带的...
2018-10-10 14:02:11
2409
10
原创 docker下用keepalived+Haproxy实现高可用负载均衡集群
先记录下遇到的坑，避免之后忘了；花时间最多去解决的一个题是：在docker下启动haproxy服务后在这个docker服务内安装keepalived无法ping通的问题，虽然最后也是莫名其妙就好了，但是加强了不少对docker的理解和还需深入学习的地方。 为什么要用keepalived+haproxy实现docker下的高可用负载均衡？在不同环境下有哪些方式可以实现高可用负载均衡？...
2018-10-08 21:53:38
13414
17
原创 Oracle/MySQL 数据库优化方案/方向
上周老板说要做一个优化数据库方案，上周没做，周一的周会被批了一顿，前两天出了一个草版方案，这里记录一下当没有经验没有方向没人指导的一个DBA如何着手做个数据库优化方案和具体做法。 大方向：优化无非就：sql优化架构优化硬件性能优化 然而大多数情况下我们不得不面对现实是：架构不能动，不给钱买新机器，只能优化下sql/数据所以实际操作方式是sql优化：1、找...
2018-09-14 15:54:39
278
原创 MySQL job/定时任务/event 学习笔记
由于周末做的数据迁移过程中，对迁移时间段内产生的数据及之后新产生的数据没有做到数据迁移，所以我写了个job让系统定时任务的跑到我的一张临时表，之后通过程序处理数据实现不同独立的数据库之间的数据同步。 程序代码就不做记录，可以用Java、python等都能实现，这次笔记主要记录MySQL event的使用； MySQL的定时任务（简称job）是可以通过MySQL自身实现的，相比较系统...
2018-09-10 15:53:12
9687
原创 MySQL 亿级数据导入导出/数据迁移笔记
最近MySQL的笔记有点多了，主要是公司Oracle比较稳定维护较少，上周被安排做了一个MySQL亿级数据的迁移，趁此记录下学习笔记；数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。导入和导出是两个过程，即使做数据迁移我们也要分开来看，同时...
2018-09-09 17:10:49
25878
7
原创 MySQL主从结构搭建
昨天按公司要求搭建了一套MySQL主从结构，趁现在还没有忘记，做个笔记巩固学习； 由于保密协议，本文所涉及的参数都是自己本机的测试参数：配置环境：两台新的服务器主机，本次系统是centos7.4；ip1：172.168.0.40 ip2：172.168.0.41主从的概念不做说明：简单结构是一个主机做MySQL服务的主机，另一个主机来做MySQL服务的从机，从机目...
2018-09-04 10:27:08
18721
4
原创 MySQL docker PXC集群搭建笔记
--------------------------------------------------------------------------------------------------------------------------------------------------------------------9.28笔记重构更新：离记录这个笔记的时间也差不多有一个月了，在...
2018-08-30 17:09:09
2784
3
原创 python入门（持续更新）
最近实现一个自动化监控和发送报表功能，问了下背后的DBA大师，用python写个脚本来实现把，然后开始学python，网上很多只是并没有一个结构性的讲解，这里分享一些心得和记录一些笔记。 帕森，一个比较流行的编程语言，收集了下和c/java等比较的优缺点，python 执行效率低，优点是语法简单。为什么说执行效率低？拿c比较，c是直接编译机器语言，执行一条c可能只需要花0.001秒时...
2018-08-02 12:22:14
3331
原创 Oracle存储过程汇总
开场来一发本次举例的脚本：--创建mq表create table t_commodity_frozen_test(id int primary key,commodity_id int,province varchar2(20),create_time date,status integer default 0);-------------------------------------...
2018-07-25 11:01:21
2509
原创 存储过程篇3--参数
前两天改了一个小的无参存储过程，以至于差点忽略掉参数的重要性，今天改了一个大约700行的存储过程，本身有参数传入并计算出返回值，感受到参数的重要性，这次分享下含参存储过程的学习总结； 含参存储过程结构：create or replace procedure A(B in varchar,C out integer,D out SYS_REFCURSOR)as V_B begin...
2018-07-19 14:42:29
560
原创 Oracle误更新/删除 数据恢复
Oracle都带有回滚机制，在更新数据后历史数据会放在一个类似于独立的磁盘中的flashback返回区，这个返回区的容量一般是由dba设定，大多数公司都会设定在业务数据存储量的两天时间以上的容量,即可以还原两天内操作前的原数据。 昨天我处理业务数据的时候不小心误更新了300条数据，导致部分异常，所以本次我来检讨一下自己并写一下处理方案。由于Oracle有flashback返回区存储更新...
2018-07-18 09:54:53
1440
原创 存储过程篇2--深入了解
继上篇了解完存储过程基本结构后，本次我们继续讨论存储过程的深度用法。 本次讨论存储过程是建立在Oracle环境下，其他SQL语言格式大体相同，遇到不一样的百度下就可以了，其他SQL这里就不做具体分析。 上篇我学习到了存储过程基本结构，回顾下： create or replace procedure A (参数b int类型) as(后边接变量，也可以不接)...
2018-07-16 11:10:32
1146
原创 存储过程篇1--初探Oracle存储过程
初探Oracle存储过程；存储过程是个好东西，你可以把它理解成一个脚本，可以按照你定义存储过程的条件，在你点击执行的时候，自动触发去执行所要的计算从而得出结果，非常适合需要定时或者定条件做一个相同重复的sql计算。常规的bi报表之类的，库存计算之类的等等等等，功能及其强大。存储过程基本形式：Createor replace procedure A(b int) asB...
2018-07-13 17:42:08
14027
7
原创 闲聊SQL--join
sql 中的join 代表链接的意思，他后边一般都要跟限定条件on 避免笛卡儿积的出现。join 的方式有多种，其中：A join B on=A inner join B on= A,B以上的A.B表关联性质是一样的，查询效率几乎也是一样的，我们基本可以看作一种关联的三种写法，没啥却比A left join B on，左关联，左边A作为主表，显示A中所有数据，B作为去匹配数据，如果能匹配上的，就显...
2018-07-12 23:25:51
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人