- 博客(65)
- 收藏
- 关注
RSS订阅转载 wget抓取整站做本地镜像
wget本身没有图形界面，所以要进入终端进行操作wget -m -e robots=off -k -E “http://www.abc.net/” 可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。解释：-m //镜像，就是整站抓取 -e robots=off //忽略robots协议，强制、流氓抓取 -k //将绝对URL链接转换为本地相对URL -E //将所有text
2016-08-28 06:11:22
1141
原创 Docker 常用命令备忘录
Docker 官方地址：https://www.docker.com/ Mac版本 boot2docker 地址： https://github.com/boot2docker/boot2docker boot2docker release下载地址：https://github.com/boot2docker/osx-installer/releasesboot2docker
2016-06-20 07:02:59
466
原创 Kafka 0.8 版本中 SimpleConsumer API 调用方式
直接看代码吧package org.kaye.kafka.simpleconsumer;import java.nio.ByteBuffer;import java.util.Collections;import java.util.HashMap;import java.util.List;import java.util.Map;import kafka.api.FetchRequest
2016-05-29 09:28:50
758
1
转载 kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建Java代码 收藏代码 1.zookeeper集群 搭建在110， 111,112 2.kafka使用3个节点110， 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs
2016-05-29 08:08:44
275
原创 MyCat 学习笔记 第二十二篇 . mycat 源代码分析 下
前两篇讲了mycat 启动与数据查询的操作过程，今天来看一下catlet执行逻辑。如果对hint有所了解的话，就好理解一些什么是catlet，在这里就不做科普了。先来看下catlet的调用：/*!mycat:catlet=demo.catlets.MyHellowJoin */ select * from t_user;在 hint 位置，可以指明是catlet 还是sql，myca
2016-05-01 10:01:13
726
2
原创 MyCat 学习笔记 第二十一篇 . mycat 源代码分析 中
忍不住还是吐槽一下CSDN的编辑器，相同的内容是已经写第二次了。前一次都快写完，不小心再修改另一篇blog的内容，临时文章被冲掉了，真是哭死，CSDN还我2小时~~~上一篇看了Mycat的启动与前端请求的处理，我们继续看看下报文 的响应与返回。
2016-04-23 09:09:40
815
原创 MyCat 学习笔记 第二十一篇 . mycat 内部分析 下
上篇讲了下mycat是如何启动服务、如何接受前端请求，这篇主要来看下遇到跨数据结点时需要做哪些事情，并且，如何把数据返回前端。另外提一句，发现csdn对于图片处理不是很好，时序图都有点小了，需要手动放大才能查看。在 io.mycat.server.ServerConnection 的execute方法中会先进行数据库路由并SQL执行的方法，RouteResultset rrs为路由结果
2016-04-19 18:12:01
472
原创 MyCat 学习笔记 第二十篇 . mycat 源代码分析 上
学了那么久的mycat使用，也该对 mycat 内部的架构与原理做一番了解。 简单理解起来，mycat就是数据库的中间件，就是做了数据报文的透传功能（数据库路由是另外一块内容），主要还使用NIO Reactor模式，先来看下mycat启动的时候做了哪些事情。 看了一下mycat 1.6版本的源码作理初步理解，不正确的地方还要大家指出。、
2016-04-19 18:08:28
682
转载 阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析
2016-04-11 06:50:22
251
原创 MyCat 学习笔记 第十九篇 . mycat 监控工具 mycat web
mycat 自带了一个简单的监控工具 mycat eye（自带了 jetty 的一个web 应用）。可以支持 mycat 环境参数、mycat 运行状态、 mysql 同步状态、高瓶 sql 等数据的实时查询。相对于mycat server来说，mycat web 发展的非常缓慢，目前可以定义为是mycat运行情况的辅助查询工具，可以替代少数 9066 管理端口做的事务。
2016-04-08 19:23:36
2202
1
原创 MyCat 学习笔记 第十八篇 . mysql 5.5 、mysql 5.6 、mysql 5.7 简单比较 下
上篇写了 mysql 5.5 + mycat 压入600万条记录数据，通过mycat上传花了32分钟，差不多是直联的1倍时间。mycat 内存平均占用在 200 - 300M，峰值过400M，终生代对像基本中 18M，老年代未超过50M，基本还算稳定。由于本地环境有限，没有办法开更多的CPU和内存出来，不然到是想试验一下在 8C 32G的PC SERVER跑mycat的效能究竟如何。
2016-03-31 19:13:58
466
原创 MyCat 学习笔记 第十七篇 . mysql 5.5 、mysql 5.6 、mysql 5.7 简单比较 上
前言 从mycat官方网站的介绍来看，作为数据库前置中间件，mycat后端可对接 mysql 、oralce 、 mongodb 等。但目前实际工作中，相信大部分的应用还是基于mysql在跑，今天就是做一个简单的比对，在相同数据表、相同数据量、相同操作的时候 mysql 几个主流版本的性能情况。
2016-03-31 13:41:00
677
原创 centos mysql 5.7 简易安装
mysql 5.7 开始依赖 boost 库，可以直接下载 boost 1.59版本，或者下载 mysql 5.7 source code with boost 版本的 tar ， 这里是下的包含版本。mysql 安装常规的操作见其他的文章吧，这里就简单记录一下遇到的问题。
2016-03-30 19:17:24
232
原创 centos mysql 5.5 简易安装记录
在centos 64 情况下安装 mysql 5.5 版本，由于大部分操作与安装 mysql 5.6 相同，因此这里只是记录一个cmake编译指令和一个简单的说明，更详情的情况可以看另外一篇blog： 【转】源码编译安装 MySQL 5.6.10最佳实践 SSL验证不成功
2016-03-30 10:44:40
207
原创 MyCat 学习笔记 第十六篇 . Oracle 数据迁移 MySql 初体验
前言这篇文章验证的功能，可能在目前大部分日常工作中遇不到，就权当作是体验性的DEMO。部分功能如果后面来得急的话，可以做一个工具给出来。Oracle 数据迁移至 Mysql 时，需要注意几点东西：数据类型的转换，类似 DATE、TIMESTAMP 这类存储过程，mysql 里面不好使~~大数据的存储第一点这个还好做，网上大把工具（或者自己写个工具）
2016-03-26 07:06:35
341
原创 MyCat 学习笔记 第十五篇 . 数据分片后的迁移验证
本篇前言前面几篇把 mycat 分片、批量压力测试的功能都验证了一把，这回体验下系统上线前做数据分片规划，上线后若服务器压力过大时做数据迁移的过程。其实做起来还是比较简单的验证，就是把之前几篇和data dump的功能揉在一起。OK，接下就来验证~~~
2016-03-18 10:11:53
358
转载 MYCAT 自建主键
全局序列号是MyCAT提供的一个新功能，为了实现分库分表情况下，表的主键是全局唯一，而默认的MySQL的自增长主键无法满足这个要求。全局序列号的语法符合标准SQL规范，其格式为：next value for MYCATSEQ_GLOBAL其中MYCATSEQ_GLOBAL是序列号的名字，MyCAT自动创建新的序列号，免去了开发的复杂度，另外，MyCAT也提供了一个全局的序列号，名称为：MYCATSE
2016-03-12 07:43:47
602
转载 Ceph 安装与配置
Ceph介绍 1.1. 文件系统概述 Ceph 最初是一项关于存储系统的 PhD 研究项目，由 Sage Weil 在 University of California, Santa Cruz（UCSC）实施。Ceph 是开源分布式存储，也是主线 Linux 内核（2.6.34）的一部分。 1.1.1. Ceph架构 Ceph 生态系统可以大致划分为四部分（见图 1）：客户端（数据用
2016-03-12 07:33:02
751
转载 基于 GlusterFS 的高可用 MySQL 数据库系统测试
MySQL 是使用最广泛的数据库之一，而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障，当MySQL节点发生故障时，整个业务系统将崩溃。MySQL replication，MySQL Cluster 和 MySQL+Galera 都试图不同程度的解决这个问题，本文试图使用分布式文件系统 GlusterFS 来尝试解决 MySQL 的高可用性。安装 Ubun
2016-03-12 06:54:43
537
原创 基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现 mysql mariadb galera cluster 集群分发读写 —— 下篇
2 周前写了 haproxy keepalived 的上篇《基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现mysql mariadb galera cluster 集群分发读写 —— 上篇》由于网络环境发生了变化，VM环境如下：VM1 192.168.13.183 VM2 192.168.13.184 VM3 192.168.13.185VI
2016-03-11 11:42:57
636
原创 MyCat 学习笔记 第十四篇 . 性能测试（中）
前一篇写了在mariadb galera cluster 环境下 mycat 压测 1000万数据的测试。 《 MyCat 学习笔记 第十四篇 . 性能测试（上）》由于从深圳滚回老家以后，网络环境的调整。。。
2016-03-05 06:58:14
593
原创 MyCat 学习笔记 第十四篇 . 性能测试（上）
前言普通家用PC发展到如今这个阶段，CPU、内存基本已不是性能瓶颈（要打游戏的一边说），关键在于硬盘。随便 3 、5 年前的电脑换块SSD，照样用起来很舒服。同样对于应用系统来说，觉得最慢的地方还是在于数据存储，狭义理解起来就是数据库读写的瓶颈。特别是对于一个要保证数据一致性的场景，例如商品库存、车票、电影票，一部分性能问题可以用技术手段解决（缓存、分表分库、内存处理等），另一部分性能问题可以通过业
2016-02-27 10:49:55
1657
2
原创 nmon 在 centos6 下的使用
nmon是ibm推出的一款开源的服务器性能监控工具，可以在性能测试时使用。项目地址 ： http://nmon.sourceforge.net/pmwiki.php使用下载并解压最新版本的nmonwget http://downloads.sourceforge.net/project/nmon/nmon16d_x86.tar.gz?r=&ts=1456280737&use_mirror=jaist
2016-02-24 10:38:43
798
原创 【原】基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现mysql mariadb galera cluster 集群分发读写 —— 上篇
前言有一段时间没有写blogs，乘着周末开始整理下haproxy + keeplived 实现 mysql mariadb galera cluster 集群访问环境的搭建工作。本文集中讲haproxy 和 keeplived 的环境安装配置与访问。mariadb galera cluster搭建点这里的传送门 《MyCat 学习笔记 第五篇 . Mycat 1.5 集成 Galera
2016-02-23 13:49:03
756
原创 MyCat 学习笔记 第十三篇.数据分片 之 通过HINT执行存储过程
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187：3307 VM2 192.168.31.212：3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:59
784
原创 MyCat 学习笔记 第十二篇.数据分片 之 分片事务处理
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187：3307 VM2 192.168.31.212：3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:57
657
1
原创 MyCat 学习笔记 第十一篇.数据分片 之 分片数据查询 ( select * from table_name limit 100000,100 )
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187：3307 VM2 192.168.31.212：3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:52
1068
原创 MyCat 学习笔记 第十篇.数据分片 之 ER分片
1 应用场景这篇来说下mycat中自带的er关系分片，所谓er关系分片即可以理解为有关联关系表之间数据分片。类似于订单主表与订单详情表间的分片存储规则。本文所说的er分片分为两种：a. 依据主键进行数据分片，验证发现主表数据保存在第1个datanode中，子表数据根据分片规则存储。b. 依据分片关键字段进行分片，验证发现主表与子表根据分片规则存储，且保存在相同的分片内。 接
2016-02-23 13:48:48
354
原创 MyCat 学习笔记 第九篇.数据分片 之 数值分布
1 应用场景Mycat 自带了多套数据分片的机制，其实根据数值分片也是比较简单，其实这个和数据取摸是类似的实现。优、缺点同上一篇 2 环境说明 参考 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://www.cnblogs.com/kaye0110/p/5160826.html 3 参数配置3.1 server.xml 配置同上参考
2016-02-23 13:48:45
235
原创 MyCat 学习笔记 第八篇.数据分片 之 求摸运算分片
1 应用场景Mycat 自带了多套数据分片的机制，其实根据数值取摸应该是最简单的一种。优点：数据离散概率较为平均，可以有效的提高应用的数据吞吐。缺点：比较明显，后期数据运维与迁移比较困难。好在Mycat有对应的解决方案，具体后期验证或可直接参考Mycat权威指南相应章节。 2 环境说明 参考 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://ww
2016-02-23 13:48:41
212
原创 MyCat 学习笔记 第七篇.数据分片 之 按数据范围分片
1 应用场景Mycat 其实自带了2个数据范围分片的方案，一个是纯数据范围的分片，比如 1至 10000 号的数据放到分片1 ，10001 至 20000号数据放到分片2里。另一个是数据常量形式的分片，即 10000号进入分片1 ，20000号进入片分2 。 2 环境说明 参考前一篇文章 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://www
2016-02-23 13:48:36
264
原创 MyCat 学习笔记 第六篇.数据分片 之 按月数据分片
1 应用场景Mycat 有很多数据分库规则，接下来几篇就相关觉得常用的规则进行试用与总结。一般来说，按自然月份来进行数据分片的规则比较适用于商城订单查询，类似最近1周、2周、3个月内的数据。或是报表类应用。这样的数据放在一个片区内省去了数据合并的时间。当然按月数据量不要过大就OK。 2 环境说明Windows 7 本机多数据库 Mysql 5.5.2 33
2016-02-23 13:48:33
343
原创 MyCat 学习笔记 第五篇 . Mycat 1.5 集成 Galera Cluster 10.1.10 读写分离 Centos 7
开篇说明Galera Cluster 其实可以在每个结点进行读写操作，没有什么读写分离的概念。本文重点是讲 MariaDB 如何组建 Galera Cluster 环境，以及如何在MyCat中进行MariaDB集群多机联动的配置。当然不用MyCAT作为数据库集群的前置也OK，还可用HA LVS等解决方案。 环境说明mac os 是宿主机，使用 vmare fusion 开三台
2016-02-23 13:48:29
613
原创 Mycat学习笔记 第四篇. MyCat 日志简单分析
环境说明Windows 7 Mycat 1.5 Mysql 5.5 一个实例两个库 traveldata_db_1 和 traveldata_db_2mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || mycat_sy
2016-02-23 13:48:24
871
原创 Mycat 学习笔记 番外篇之系统命令 —— reload config
1）基础说明Mycat （1.5版本）默认开通2个端口，可以在server.xml中进行修改。8066 数据访问端口，即进行 DML 和 DDL 操作。9066 数据库管理端口，即 mycat 服务管理控制功能。Mac 环境验证不通过，mysql 命令连接不到 mycat 服务端。 2）在 schema.xml 文件中增加一个新的数据表配置，下面红字标识
2016-02-23 13:48:22
1221
原创 Mycat学习笔记 番外篇一.客户端使用latin1字符集，后端MySQL为UTF8字符集，MyCat日志分析。
其实这个番外篇比较无聊——即客户端为lantin字符集，后面MySQL为U8字符集，MyCat在中间到底会起什么作用。再说下本次验证的环境：Mac OS 10.11.2 MySQL 5.6MyCat 1.5 OK，开始我们的验证工作。 1) 由于数据库与操作系统已被默认设置为U8编码，计划通过修改Mysql “character_set_client” 参数调整客
2016-02-23 13:48:17
364
转载 mysql_query("set names gb2312")设置客户端字符集
$conn=mysql_connect("localhost","root","123456");mysql_select_db("db_bcty365",$conn);mysql_query("set names gb2312");?>其中：SET NAMES ‘x‘语句与这三个语句等价：mysql> SET character_set_client = x;mysql> SET c
2016-02-23 13:48:15
308
转载 【转】解决MySQL主从复制不一致的情况
解决MySQL主从复制不一致的情况十月 09, 2011 ( NO COMMENTS )稍微有些规模的网站，基本上都会配置mysql主从复制，一方面用mysql的主从做数据库的读写分离，另一方面mysql本身的单机备份不是很强，一般采用主从架构，在从上进行数据备份。在MySQL主从复制过程中或多或少出现一些主从不同步的情况，本文将对数据主从不同步的情况进行简单的总结，请注意本文主要从数
2016-02-23 13:48:10
178
原创 Mycat学习笔记 第三篇. MySql 主从同步异常后，主从切换
1）系统环境说明MySql 5.5 主从节点127.0.0.1：3306 主结点，为验证主从切换效果，手动停止服务127.0.0.1: 3307 从结点 1 127.0.0.1：338 从结点 2 ，为验证主从切换效果，在主结点停止后，新增两个记录。 MyCat 1.5 schema.xml 配置具体配置说明，参考上篇： 《Mycat学习笔记》 第二篇
2016-02-23 13:48:08
372
原创 【转】MYSQL主从同步故障一例及解决过程！
公司里有两个mysql服务器做主从同步，某天Nagios发来报警短信，mysqla is down...赶紧联系机房，机房的人反馈来的信息是 HARDWARE ERROR 后面信息省略，让机房记下错误信息后让他们帮忙重启下看是不是能正常起来，结果竟然正常起来了，赶紧导出所有数据。 问题又出现了，nagios 又报警，mysql_AB error，检查从库show slave status \G
2016-02-23 13:48:05
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人