- 博客(34)
- 收藏
- 关注
RSS订阅转载 datax 从mysql到mysql
需求：把a服务器上mysql数据迁移到b服务器上mysql中。1、下载datax: https://github.com/alibaba/DataX2.解压tar -zxvf datax.tar.gz3.编辑作业文件 diag.json{ "job": { "content": [ { "reader": { "name": "mysqlreader", ...
2020-12-31 17:58:49
711
转载 MySQL 二进制日志 数据同步
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。之后，将以数据库为例，讲解在数据同步的情况下，如何解决数据回环、数据冲突、数据重复等典型问题。1 什么是单元化 如果仅仅从"单元化”这个词汇的角度来说，我们可以理解为将数据划分到多个单元进行存储。"单元"是一个抽象的
2020-12-31 17:25:00
565
转载 【databus】初识Databus
参考资料：1、Databus架构分析与初步实践（for mysql）（上篇）：https://sq.163yun.com/blog/article/1735522011588116482、Databus架构分析与初步实践（for mysql）（下篇）：https://sq.163yun.com/blog/article/1735547255004569601. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus
2020-12-31 16:37:07
1132
1
转载 Phoenix(SQL On HBase)
1.简介Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。*如果需要对HBase进行复杂的操作，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的A...
2020-12-31 16:29:34
350
转载 tidb迁移常见问题
全量数据导出导入如何将一个运行在 MySQL 上的应用迁移到 TiDB 上？TiDB 支持绝大多数 MySQL 语法，一般不需要修改代码。不小心把 MySQL 的 user 表导入到 TiDB 了，或者忘记密码，无法登录，如何处理？重启 TiDB 服务，配置文件中增加-skip-grant-table=true参数，无密码登录集群后，可以根据情况重建用户，或者重建 mysql.user 表，具体表结构搜索官网。在 Loader 运行的过程中，TiDB 可以对外提供服务吗？该操作进..
2020-12-31 15:34:05
909
转载 tidb 部署运维 FAQ
本文介绍 TiDB 集群运维部署的常见问题、原因及解决方法。环境准备 FAQ操作系统版本要求如下表：Linux 操作系统平台 版本 Red Hat Enterprise Linux 7.3 及以上 CentOS 7.3 及以上 Oracle Enterprise Linux 7.3 及以上 为什么要在 CentOS 7 上部署 TiDB 集群？TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境及主流虚
2020-12-31 15:06:58
1336
转载 tidb SQL 操作常见问题
本文档介绍 TiDB 中常见的 SQL 操作问题。TiDB 对哪些 MySQL variables 兼容？详细可参考系统变量。省略ORDER BY条件时 TiDB 中返回结果的顺序与 MySQL 中的不一致这不是 bug。返回结果的顺序视不同情况而定，不保证顺序统一。MySQL 中，返回结果的顺序可能较为固定，因为查询是通过单线程执行的。但升级到新版本后，查询计划也可能变化。无论是否期待返回结果有序，都推荐使用ORDER BY条件。ISO/IEC 9075:1992, Dat...
2020-12-31 15:04:44
4677
转载 tidb常见问题
一、 TiDB 介绍、架构、原理1.1 TiDB 介绍及整体架构1.1.1 TiDB 整体架构TiDB 简介1.1.2 TiDB 是什么？TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。1.1.3 TiDB 是基于 MySQL 开发的吗？不是，虽然 TiDB 支持 MySQL 语法和协议，但是 TiDB
2020-12-31 15:02:31
3575
2
转载 tidb迁移常见问题
全量数据导出导入如何将一个运行在 MySQL 上的应用迁移到 TiDB 上？TiDB 支持绝大多数 MySQL 语法，一般不需要修改代码。不小心把 MySQL 的 user 表导入到 TiDB 了，或者忘记密码，无法登录，如何处理？重启 TiDB 服务，配置文件中增加-skip-grant-table=true参数，无密码登录集群后，可以根据情况重建用户，或者重建 mysql.user 表，具体表结构搜索官网。在 Loader 运行的过程中，TiDB 可以对外提供服务吗？该操作进..
2020-12-31 14:54:22
1120
转载 了解 TiDB 技术内幕 - 说存储
引言数据库、操作系统和编译器并称为三大系统，可以说是整个计算机软件的基石。其中数据库更靠近应用层，是很多业务的支撑。这一领域经过了几十年的发展，不断的有新的进展。很多人用过数据库，但是很少有人实现过一个数据库，特别是实现一个分布式数据库。了解数据库的实现原理和细节，一方面可以提高个人技术，对构建其他系统有帮助，另一方面也有利于用好数据库。研究一门技术最好的方法是研究其中一个开源项目，数据库也不例外。单机数据库领域有很多很好的开源项目，其中 MySQL 和 PostgreSQL 是其中知名度最高的
2020-12-31 12:45:15
312
转载 了解 TiDB 技术内幕 - 说计算
关系模型到 Key-Value 模型的映射在这我们将关系模型简单理解为 Table 和 SQL 语句，那么问题变为如何在 KV 结构上保存 Table 以及如何在 KV 结构上运行 SQL 语句。 假设我们有这样一个表的定义：CopyCREATE TABLE User { ID int, Name varchar(20), Role varchar(20), Age int, PRIMARY KEY (ID), Key idxAge (age)};SQL 和 KV 结构之间
2020-12-31 12:00:56
347
转载 了解 TiDB 技术内幕 - 谈调度
为什么要进行调度先回忆一下三篇文章了解 TiDB 技术内幕 - 说存储提到的一些信息，TiKV 集群是 TiDB 数据库的分布式 KV 存储引擎，数据以 Region 为单位进行复制和管理，每个 Region 会有多个 Replica（副本），这些 Replica 会分布在不同的 TiKV 节点上，其中 Leader 负责读/写，Follower 负责同步 Leader 发来的 raft log。了解了这些信息后，请思考下面这些问题：如何保证同一个 Region 的多个 Replica 分布在不同的
2020-12-31 11:49:11
311
原创 Oracle11g实现只读表方法
1.1 ALTER TABLE tab_name READ ONLY参考：https://www.cnblogs.com/chinas/p/8440460.htmlOracle 11g开始支持设置某张表为只读，这样可以防范对某些表的修改，起到一定的安全性。设置如下：--设置表为只读权限（加锁）ALTER TABLE tab_name READ ONLY ;--设置表的读写权限（解锁）ALTER TABLE tab_name READ WRITE ;当表需要进行更新、增删记录时
2020-12-30 09:56:05
677
转载 mysql 优化之 is null ，is not null 索引使用测试
关于mysql优化部分，有很多网友说尽量避免使用is null, is not null,select * 等，会导致索引失效，性能降低？那是否一定收到影响呢？真的就不会使用索引了吗？本文的测试数据库版本为5.7.18，不同版本得出的结果可能会有所不同：本文测试的两张表数据如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 CREATE...
2020-12-27 10:35:33
584
转载 MySQL优化原理剖析
前言：MySQL架构体系首先分享实验前的基础知识，MySQL主要分为Server层与存储引擎层。Server层主要包含连接器、检索内存、分析器、优化器、执行器等，所有跨存储引擎的功能均于这一层构建，例如存储过程、触发器、视图，函数等，有一个标准化的binglog日志模块。存储引擎负责数据的存储与存取，使用可更换的插件式架构，拥有InnoDB、MyISAM、Memory等多个存储引擎，其中InnoDB引擎有redo log日志模块。如下图所示（图片来自网络，侵权联系...
2020-12-26 20:30:18
373
转载 MySql 执行delete突然特别慢，解决方法
Mysql删除数据时出现执行很慢并且删除失败的情况–线程堵塞sql语句明明没错,报1205错误解决办法:数据库执行SQL语句 查询是哪个线程堵住了SELECT * FROM information_schema.innodb_trx查看trx_rows_locked 这一列 如果是大于0的话，说明是堵塞住了， 然后查对应的trx_mysql_thread_id 列看到一个线程ID然后执行SQL , kill 线程ID 即可(也就是kill trx_mysql_thread_id 对应的
2020-12-24 10:36:14
3351
转载 详述一次大量删除导致MySQL慢查的分析
导读：监控上收到了大量慢查的告警，业务也反馈查询很慢，本文记录整个慢查的原因，以及解决方案。一、背景监控上收到了大量慢查的告警，业务也反馈查询很慢，随即打开电脑确认慢查的原因。二、现象描述通过平台的慢查分析之后，我们发现慢查有以下特征：慢查的表名都是 sbtest1，没有其他的表； 大部分的慢查都是查表最新的数据，例如 select * from sbtest1 limit 1; rows examined 为 1，没有扫描大量的数据。三、问题分析通对慢查的大致分析，SQ...
2020-12-24 10:30:04
527
转载 pt-online-schema-change注意事项 --no-check-alter
因为我们生产环境使用了PXC(Percona XtraDB Cluster)，而PXC中任何一个"ALTER"语句都会导致集群阻塞所有的DML操作，参考http://galeracluster.com/documentation-webpages/clusterstallonalter.html，所以pt-online-schema-change就是修改表结构的最好工具。但是在使用时，需要慎用--no-check-alter参数，强烈建议不要使用这个参数。因为如果加了这个参数，就不会有风险提示。比如
2020-12-22 14:44:16
494
1
转载 mysql explicit_defaults_for_timestamp 变量的作用
mysql 中有这样的一个默认行为，如果一行数据中某些列被更新了，如果这一行中有timestamp类型的列，那么么这个timestamp列的数据也会被自动更新到 更新操作所发生的那个时间点；这个操作是由explicit_defaults_for_timestamp这个变更控制的一、体验一下mysql的默认更新行为：复制代码mysql> create table t(x int ,y timestamp); – 创建一个带有timestamp列的表Query OK, 0 rows affec
2020-12-20 10:25:59
662
1
转载 Keepalive实战之LVS-DR
实验目的：构建LVS-DR架构，为了达到LVS的高可用目的，故在LVS-DR的Director端做Keepalive集群，在Director-A上做keepalive-A，在Director上做keepalive-B，LVS-RS1和LVS-RS2为后端的两台web服务器，通过在Director上做keepalive集群实现高可用的目的网络拓扑图实验环境(keepalive节点同时作为LVS的directory节点)keepalive-A(Director-A) 172.16.253.108
2020-12-18 16:37:37
329
1
转载 linux搭建LVS+keepalive+nginx实现集群高性能负载均衡配置详解
关于nginx配置tomcat实现负载均衡可参考http://blog.csdn.net/liqi_q/article/details/78063603安装jdk可参考：http://blog.csdn.net/liqi_q/article/details/72963947关于IP直接访问nginx可参考http://blog.csdn.net/liqi_q/article/details/78476787关于lvs长时间轮询real-server原因可阅读http://www.capjsj.c
2020-12-18 15:50:43
572
1
转载 lvs+keepalive主从和主主架构
下面配置主从1）关闭SELinux和防火墙vi /etc/sysconfig/selinuxSELINUX=disabledsetenforce 0 临时关闭SELinux，文件配置后，重启生效182.148.15.0/24是服务器的公网网段，192.168.1.0/24是服务器的私网网段一定要注意：加上这个组播规则后，MASTER和BACKUP故障时，才能实现VIP资源的正常转移。其故障恢复后，VIP也还会正常转移回来。vim /etc/sy...
2020-12-18 15:11:05
437
转载 lvs与nginx区别
lvs和nginx都可以用作多机负载方案，他们各有优缺点，在生产环境中需要好好分析实际情况并加以利用。一、lvs的优势：1.抗负载能力强，因为lvs工作方式的逻辑是非常简单的，而且工作再网络层第4层，仅作请求分发用，没有流量，所以在效率上基本不需要太过考虑。lvs一般很少出现故障，即使出现故障一般也是其他地方（如内存、CPU等）出现问题导致lvs出现问题。2.配置性地，这通常是一大劣势同时也是一大优势，因为没有太多的可配置的选项，所以除了增减服务器，并不需要经常去触碰它...
2020-12-18 11:55:47
349
转载 LVS、Nginx、HAProxy、keepalive 的工作原理
当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是 Web 应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。在实际应用中，在 Web 服务器集群之前总会有一台负载均衡服务器，负载均衡设备的任务就是作为 Web 服务器流量的入口，挑选最合适的一台 Web 服务器，将客户端的请求转发给它处理，实现客户端到真实服务端的透明转发。LVS、Nginx、HAProxy 是目前使用最广泛的三种软件负载均衡软件
2020-12-18 11:53:48
375
1
转载 haproxy和nginx负载均衡
haproxy负载均衡的实验过程如下：1: 先看下haproxy的配置。配置inter 20000为20s检测一次，这个是为了更明显的抓下haproxy的负载均衡探测机制。listen test9090 bind 127.0.0.1:9090 mode tcp server localhost90 127.0.0.1:90 check inter 20000 server localhost91 127.0.0.1:91 check
2020-12-18 11:10:10
442
1
转载 nginx 转发tcp连接
背景：公司有一套工作流服务(jira,confluence,bitbucket)，目前jira,confluence配置的是从nginx网关进行转发，bitbucket配置的是直接解析到该主机，现在计划通过nginx对bitbucket服务请求进行转发，一来能够关闭服务器的外网，节省服务器费用；二来方便管理，只需要调整nginx服务器的带宽。需求：解决bitbucket 拉取代码的ssh请求。调研：nginx支持tcp四层转发，支持模块：stream，条件：nginx 版本 >=1.9。n
2020-12-15 10:33:58
978
转载 Nginx支持TCP端口转发
Nginx支持TCP端口转发有个接口是通过socket通信，对端服务器访问存在IP限制，只好通过跳板机，因为它具备访问对端服务器的权限。nginx1.9开始支持tcp层的转发，通过stream实现的，而socket也是基于tcp通信。安装nginx，stream模块默认不安装的，需要手动添加参数：–with-stream，官方下载地址：download，根据自己系统版本选择nginx1.9或以上版本 nginx.conf 配置，参考说明：ngx_stream_core_module ngin.
2020-12-15 10:32:39
617
原创 nginx日志缓存open_log_file_cache
nginx日志缓存,提升磁盘性能将多个日志进行积累,达到一定量级后写入到磁盘,可以减少磁盘旋转,从而降低磁盘i/o,提升nginx能效语法: access_log path access_log [存储路径] [buff=大小] [gzip=压缩级别] [flush=time 刷新时间] max: 最大字节数量。inactive:设置时间 默认是10smin_uses:日志写入指定次数后压缩valid:设置检查频率，默认60soff：禁用缓存 1. 全局定义 log_
2020-12-15 10:18:21
1813
1
转载 解读：nginx的一个神秘配置worker_cpu_affinity
今天在查看nginx的相关知识的时候发现了一个nginx之前不认识的配置：worker_cpu_affinity。nginx默认是没有开启利用多核cpu的配置的。需要通过增加worker_cpu_affinity配置参数来充分利用多核cpu，cpu是任务处理，当计算最费时的资源的时候，cpu核使用上的越多，性能就越好。查了下，配置nginx多核cpu，worker_cpu_affinity使用方法和范例2核cpu，开启2个进程worker_processes 2;worker
2020-12-15 10:10:48
613
转载 nginx.conf 配置详解
目录pid user error_log worker_connections include http servernginx主配置文件中的内容pid主线程id的存储位置。# cat /usr/local/nginx/logs/nginx.pid1113# pgrep -o nginx1113user使用这个参数来配置 worker 进程的用户和组。如果忽略 group ,那么group 的名 字等于该参数指定用户的用户组。# ps -ef | .
2020-12-15 09:52:17
272
转载 sharding-proxy
利用ShardingSphere（sharding-proxy）实现分库分表，通过整合ZooKeeper，进行简单配置文件修改轻松实现跨库跨表相关操作，轻量级零侵入整合项目开发准备工作下载相关文件：https://download.csdn.net/download/u014374009/11837831点击下载Linux和windows都可以使用！1、解压文件找到下面的文件夹，并进入。在conf目录下进行配置。修改下面两个配置文件中的一个配置文件，当然也可以全部都进行配置，第一个配置
2020-12-14 14:19:07
516
转载 zookeeper的原理和应用（非常详细透彻）
场景一有这样一个场景：系统中有大约100w的用户，每个用户平 均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从 多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。通过我们的讨论和以往的经验判断在这场景中可以实现并行计算，但我们还期望能对并行计算的节点进行动态的添加/删除，做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点，但是有4个问题需要...
2020-12-14 10:39:47
878
转载 xtrabackup: error: last checkpoint LSN (3409281307) is larger than last copied LSN (3409274368). #2
1.错误发生场景：使用2.4.1版本的xtrabackup工具进行全备，备份日志中报出此错误2.知识要点：MySQL中，redo 日志写进程会在三种条件下被触发从log buffer中写日志到redo log file中，分别是每隔一秒、日志达到log buffer的1/3、每一次提交的时候。刷新日志的LSN到log file是采用轮询的方式进行的，比如有三组日志当这三组都被写满的时候再重新覆盖第一组的日志，以此类推。同时checkpoints检查点会刷新在log file被覆盖前刷新buffer [p
2020-12-09 17:04:46
397
转载 FTP与SFTP两者有什么区别
在实际项目开发中最常使用的文件传输的方式有ftp和sftp两种，但是这两个传输方式各有什么特点呢?本文接下来将讨论SFTP、FTP的区别。一、FTP协议FTP是TCP/IP协议组中的协议之一，TP协议由两个部分组成：FTP服务器(用来存储文件) FTP客户端(用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源)默认情况下FTP协议使用TCP端口中的20和21这两个端口。21端口用于传输控制信息，而是否使用20作为传输数据的端口与FTP使用的传输模式有关，如果采用被动模式则
2020-12-04 10:54:59
711
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人