- 博客(65)
- 收藏
- 关注
转载 wget抓取整站做本地镜像
wget本身没有图形界面,所以要进入终端进行操作wget -m -e robots=off -k -E “http://www.abc.net/” 可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。解释:-m //镜像,就是整站抓取 -e robots=off //忽略robots协议,强制、流氓抓取 -k //将绝对URL链接转换为本地相对URL -E //将所有text
2016-08-28 06:11:22
1169
原创 Docker 常用命令备忘录
Docker 官方地址:https://www.docker.com/ Mac版本 boot2docker 地址: https://github.com/boot2docker/boot2docker boot2docker release下载地址:https://github.com/boot2docker/osx-installer/releasesboot2docker
2016-06-20 07:02:59
476
原创 Kafka 0.8 版本中 SimpleConsumer API 调用方式
直接看代码吧package org.kaye.kafka.simpleconsumer;import java.nio.ByteBuffer;import java.util.Collections;import java.util.HashMap;import java.util.List;import java.util.Map;import kafka.api.FetchRequest
2016-05-29 09:28:50
785
1
转载 kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建Java代码 收藏代码 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs
2016-05-29 08:08:44
285
原创 MyCat 学习笔记 第二十二篇 . mycat 源代码分析 下
前两篇讲了mycat 启动与数据查询的操作过程,今天来看一下catlet执行逻辑。如果对hint有所了解的话,就好理解一些什么是catlet,在这里就不做科普了。先来看下catlet的调用:/*!mycat:catlet=demo.catlets.MyHellowJoin */ select * from t_user;在 hint 位置,可以指明是catlet 还是sql,myca
2016-05-01 10:01:13
742
2
原创 MyCat 学习笔记 第二十一篇 . mycat 源代码分析 中
忍不住还是吐槽一下CSDN的编辑器,相同的内容是已经写第二次了。前一次都快写完,不小心再修改另一篇blog的内容,临时文章被冲掉了,真是哭死,CSDN还我2小时~~~上一篇看了Mycat的启动与前端请求的处理,我们继续看看下报文 的响应与返回。
2016-04-23 09:09:40
830
原创 MyCat 学习笔记 第二十一篇 . mycat 内部分析 下
上篇讲了下mycat是如何启动服务、如何接受前端请求,这篇主要来看下遇到跨数据结点时需要做哪些事情,并且,如何把数据返回前端。另外提一句,发现csdn对于图片处理不是很好,时序图都有点小了,需要手动放大才能查看。在 io.mycat.server.ServerConnection 的execute方法中会先进行数据库路由并SQL执行的方法,RouteResultset rrs为路由结果
2016-04-19 18:12:01
492
原创 MyCat 学习笔记 第二十篇 . mycat 源代码分析 上
学了那么久的mycat使用,也该对 mycat 内部的架构与原理做一番了解。 简单理解起来,mycat就是数据库的中间件,就是做了数据报文的透传功能(数据库路由是另外一块内容),主要还使用NIO Reactor模式,先来看下mycat启动的时候做了哪些事情。 看了一下mycat 1.6版本的源码作理初步理解,不正确的地方还要大家指出。、
2016-04-19 18:08:28
695
转载 阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分版本的日志解析
2016-04-11 06:50:22
261
原创 MyCat 学习笔记 第十九篇 . mycat 监控工具 mycat web
mycat 自带了一个简单的监控工具 mycat eye(自带了 jetty 的一个web 应用)。可以支持 mycat 环境参数、mycat 运行状态、 mysql 同步状态、高瓶 sql 等数据的实时查询。相对于mycat server来说,mycat web 发展的非常缓慢,目前可以定义为是mycat运行情况的辅助查询工具,可以替代少数 9066 管理端口做的事务。
2016-04-08 19:23:36
2218
1
原创 MyCat 学习笔记 第十八篇 . mysql 5.5 、mysql 5.6 、mysql 5.7 简单比较 下
上篇写了 mysql 5.5 + mycat 压入600万条记录数据,通过mycat上传花了32分钟,差不多是直联的1倍时间。mycat 内存平均占用在 200 - 300M,峰值过400M,终生代对像基本中 18M,老年代未超过50M,基本还算稳定。由于本地环境有限,没有办法开更多的CPU和内存出来,不然到是想试验一下在 8C 32G的PC SERVER跑mycat的效能究竟如何。
2016-03-31 19:13:58
486
原创 MyCat 学习笔记 第十七篇 . mysql 5.5 、mysql 5.6 、mysql 5.7 简单比较 上
前言 从mycat官方网站的介绍来看,作为数据库前置中间件,mycat后端可对接 mysql 、oralce 、 mongodb 等。但目前实际工作中,相信大部分的应用还是基于mysql在跑,今天就是做一个简单的比对,在相同数据表、相同数据量、相同操作的时候 mysql 几个主流版本的性能情况。
2016-03-31 13:41:00
705
原创 centos mysql 5.7 简易安装
mysql 5.7 开始依赖 boost 库,可以直接下载 boost 1.59版本,或者下载 mysql 5.7 source code with boost 版本的 tar , 这里是下的包含版本。mysql 安装常规的操作见其他的文章吧,这里就简单记录一下遇到的问题。
2016-03-30 19:17:24
240
原创 centos mysql 5.5 简易安装记录
在centos 64 情况下安装 mysql 5.5 版本,由于大部分操作与安装 mysql 5.6 相同,因此这里只是记录一个cmake编译指令和一个简单的说明,更详情的情况可以看另外一篇blog: 【转】源码编译安装 MySQL 5.6.10最佳实践 SSL验证不成功
2016-03-30 10:44:40
216
原创 MyCat 学习笔记 第十六篇 . Oracle 数据迁移 MySql 初体验
前言这篇文章验证的功能,可能在目前大部分日常工作中遇不到,就权当作是体验性的DEMO。部分功能如果后面来得急的话,可以做一个工具给出来。Oracle 数据迁移至 Mysql 时,需要注意几点东西:数据类型的转换,类似 DATE、TIMESTAMP 这类存储过程,mysql 里面不好使~~大数据的存储第一点这个还好做,网上大把工具(或者自己写个工具)
2016-03-26 07:06:35
357
原创 MyCat 学习笔记 第十五篇 . 数据分片后的迁移验证
本篇前言前面几篇把 mycat 分片、批量压力测试的功能都验证了一把,这回体验下系统上线前做数据分片规划,上线后若服务器压力过大时做数据迁移的过程。其实做起来还是比较简单的验证,就是把之前几篇和data dump的功能揉在一起。OK,接下就来验证~~~
2016-03-18 10:11:53
372
转载 MYCAT 自建主键
全局序列号是MyCAT提供的一个新功能,为了实现分库分表情况下,表的主键是全局唯一,而默认的MySQL的自增长主键无法满足这个要求。全局序列号的语法符合标准SQL规范,其格式为:next value for MYCATSEQ_GLOBAL其中MYCATSEQ_GLOBAL是序列号的名字,MyCAT自动创建新的序列号,免去了开发的复杂度,另外,MyCAT也提供了一个全局的序列号,名称为:MYCATSE
2016-03-12 07:43:47
614
转载 Ceph 安装与配置
Ceph介绍 1.1. 文件系统概述 Ceph 最初是一项关于存储系统的 PhD 研究项目,由 Sage Weil 在 University of California, Santa Cruz(UCSC)实施。Ceph 是开源分布式存储,也是主线 Linux 内核(2.6.34)的一部分。 1.1.1. Ceph架构 Ceph 生态系统可以大致划分为四部分(见图 1):客户端(数据用
2016-03-12 07:33:02
781
转载 基于 GlusterFS 的高可用 MySQL 数据库系统测试
MySQL 是使用最广泛的数据库之一,而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障,当MySQL节点发生故障时,整个业务系统将崩溃。MySQL replication,MySQL Cluster 和 MySQL+Galera 都试图不同程度的解决这个问题,本文试图使用分布式文件系统 GlusterFS 来尝试解决 MySQL 的高可用性。安装 Ubun
2016-03-12 06:54:43
570
原创 基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现 mysql mariadb galera cluster 集群分发读写 —— 下篇
2 周前写了 haproxy keepalived 的上篇《基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现mysql mariadb galera cluster 集群分发读写 —— 上篇》由于网络环境发生了变化,VM环境如下:VM1 192.168.13.183 VM2 192.168.13.184 VM3 192.168.13.185VI
2016-03-11 11:42:57
651
原创 MyCat 学习笔记 第十四篇 . 性能测试(中)
前一篇写了在mariadb galera cluster 环境下 mycat 压测 1000万数据的测试。 《 MyCat 学习笔记 第十四篇 . 性能测试(上)》由于从深圳滚回老家以后,网络环境的调整。。。
2016-03-05 06:58:14
603
原创 MyCat 学习笔记 第十四篇 . 性能测试(上)
前言普通家用PC发展到如今这个阶段,CPU、内存基本已不是性能瓶颈(要打游戏的一边说),关键在于硬盘。随便 3 、5 年前的电脑换块SSD,照样用起来很舒服。同样对于应用系统来说,觉得最慢的地方还是在于数据存储,狭义理解起来就是数据库读写的瓶颈。特别是对于一个要保证数据一致性的场景,例如商品库存、车票、电影票,一部分性能问题可以用技术手段解决(缓存、分表分库、内存处理等),另一部分性能问题可以通过业
2016-02-27 10:49:55
1745
2
原创 nmon 在 centos6 下的使用
nmon是ibm推出的一款开源的服务器性能监控工具,可以在性能测试时使用。项目地址 : http://nmon.sourceforge.net/pmwiki.php使用下载并解压最新版本的nmonwget http://downloads.sourceforge.net/project/nmon/nmon16d_x86.tar.gz?r=&ts=1456280737&use_mirror=jaist
2016-02-24 10:38:43
840
原创 【原】基于 HAproxy 1.6.3 Keepalived 在 Centos 7 中实现mysql mariadb galera cluster 集群分发读写 —— 上篇
前言有一段时间没有写blogs,乘着周末开始整理下haproxy + keeplived 实现 mysql mariadb galera cluster 集群访问环境的搭建工作。本文集中讲haproxy 和 keeplived 的环境安装配置与访问。mariadb galera cluster搭建点这里的传送门 《MyCat 学习笔记 第五篇 . Mycat 1.5 集成 Galera
2016-02-23 13:49:03
795
原创 MyCat 学习笔记 第十三篇.数据分片 之 通过HINT执行存储过程
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:59
795
原创 MyCat 学习笔记 第十二篇.数据分片 之 分片事务处理
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:57
678
1
原创 MyCat 学习笔记 第十一篇.数据分片 之 分片数据查询 ( select * from table_name limit 100000,100 )
1 环境说明VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150: 3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806【SQL执行端口】 / 9066【管理端口】 2 应用场
2016-02-23 13:48:52
1092
原创 MyCat 学习笔记 第十篇.数据分片 之 ER分片
1 应用场景这篇来说下mycat中自带的er关系分片,所谓er关系分片即可以理解为有关联关系表之间数据分片。类似于订单主表与订单详情表间的分片存储规则。本文所说的er分片分为两种:a. 依据主键进行数据分片,验证发现主表数据保存在第1个datanode中,子表数据根据分片规则存储。b. 依据分片关键字段进行分片,验证发现主表与子表根据分片规则存储,且保存在相同的分片内。 接
2016-02-23 13:48:48
368
原创 MyCat 学习笔记 第九篇.数据分片 之 数值分布
1 应用场景Mycat 自带了多套数据分片的机制,其实根据数值分片也是比较简单,其实这个和数据取摸是类似的实现。优、缺点同上一篇 2 环境说明 参考 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://www.cnblogs.com/kaye0110/p/5160826.html 3 参数配置3.1 server.xml 配置同上参考
2016-02-23 13:48:45
245
原创 MyCat 学习笔记 第八篇.数据分片 之 求摸运算分片
1 应用场景Mycat 自带了多套数据分片的机制,其实根据数值取摸应该是最简单的一种。优点:数据离散概率较为平均,可以有效的提高应用的数据吞吐。缺点:比较明显,后期数据运维与迁移比较困难。好在Mycat有对应的解决方案,具体后期验证或可直接参考Mycat权威指南相应章节。 2 环境说明 参考 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://ww
2016-02-23 13:48:41
229
原创 MyCat 学习笔记 第七篇.数据分片 之 按数据范围分片
1 应用场景Mycat 其实自带了2个数据范围分片的方案,一个是纯数据范围的分片,比如 1至 10000 号的数据放到分片1 ,10001 至 20000号数据放到分片2里。另一个是数据常量形式的分片,即 10000号进入分片1 ,20000号进入片分2 。 2 环境说明 参考前一篇文章 《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片 http://www
2016-02-23 13:48:36
272
原创 MyCat 学习笔记 第六篇.数据分片 之 按月数据分片
1 应用场景Mycat 有很多数据分库规则,接下来几篇就相关觉得常用的规则进行试用与总结。一般来说,按自然月份来进行数据分片的规则比较适用于商城订单查询,类似最近1周、2周、3个月内的数据。或是报表类应用。这样的数据放在一个片区内省去了数据合并的时间。当然按月数据量不要过大就OK。 2 环境说明Windows 7 本机多数据库 Mysql 5.5.2 33
2016-02-23 13:48:33
362
原创 MyCat 学习笔记 第五篇 . Mycat 1.5 集成 Galera Cluster 10.1.10 读写分离 Centos 7
开篇说明Galera Cluster 其实可以在每个结点进行读写操作,没有什么读写分离的概念。本文重点是讲 MariaDB 如何组建 Galera Cluster 环境,以及如何在MyCat中进行MariaDB集群多机联动的配置。当然不用MyCAT作为数据库集群的前置也OK,还可用HA LVS等解决方案。 环境说明mac os 是宿主机,使用 vmare fusion 开三台
2016-02-23 13:48:29
632
原创 Mycat学习笔记 第四篇. MyCat 日志简单分析
环境说明Windows 7 Mycat 1.5 Mysql 5.5 一个实例两个库 traveldata_db_1 和 traveldata_db_2mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || mycat_sy
2016-02-23 13:48:24
884
原创 Mycat 学习笔记 番外篇之系统命令 —— reload config
1)基础说明Mycat (1.5版本)默认开通2个端口,可以在server.xml中进行修改。8066 数据访问端口,即进行 DML 和 DDL 操作。9066 数据库管理端口,即 mycat 服务管理控制功能。Mac 环境验证不通过,mysql 命令连接不到 mycat 服务端。 2)在 schema.xml 文件中增加一个新的数据表配置,下面红字标识
2016-02-23 13:48:22
1272
原创 Mycat学习笔记 番外篇一.客户端使用latin1字符集,后端MySQL为UTF8字符集,MyCat日志分析。
其实这个番外篇比较无聊——即客户端为lantin字符集,后面MySQL为U8字符集,MyCat在中间到底会起什么作用。再说下本次验证的环境:Mac OS 10.11.2 MySQL 5.6MyCat 1.5 OK,开始我们的验证工作。 1) 由于数据库与操作系统已被默认设置为U8编码,计划通过修改Mysql “character_set_client” 参数调整客
2016-02-23 13:48:17
385
转载 mysql_query("set names gb2312")设置客户端字符集
$conn=mysql_connect("localhost","root","123456");mysql_select_db("db_bcty365",$conn);mysql_query("set names gb2312");?>其中:SET NAMES ‘x‘语句与这三个语句等价:mysql> SET character_set_client = x;mysql> SET c
2016-02-23 13:48:15
327
转载 【转】解决MySQL主从复制不一致的情况
解决MySQL主从复制不一致的情况十月 09, 2011 ( NO COMMENTS )稍微有些规模的网站,基本上都会配置mysql主从复制,一方面用mysql的主从做数据库的读写分离,另一方面mysql本身的单机备份不是很强,一般采用主从架构,在从上进行数据备份。在MySQL主从复制过程中或多或少出现一些主从不同步的情况,本文将对数据主从不同步的情况进行简单的总结,请注意本文主要从数
2016-02-23 13:48:10
188
原创 Mycat学习笔记 第三篇. MySql 主从同步异常后,主从切换
1)系统环境说明MySql 5.5 主从节点127.0.0.1:3306 主结点,为验证主从切换效果,手动停止服务127.0.0.1: 3307 从结点 1 127.0.0.1:338 从结点 2 ,为验证主从切换效果,在主结点停止后,新增两个记录。 MyCat 1.5 schema.xml 配置具体配置说明,参考上篇: 《Mycat学习笔记》 第二篇
2016-02-23 13:48:08
391
原创 【转】MYSQL主从同步故障一例及解决过程!
公司里有两个mysql服务器做主从同步,某天Nagios发来报警短信,mysqla is down...赶紧联系机房,机房的人反馈来的信息是 HARDWARE ERROR 后面信息省略,让机房记下错误信息后让他们帮忙重启下看是不是能正常起来,结果竟然正常起来了,赶紧导出所有数据。 问题又出现了,nagios 又报警,mysql_AB error,检查从库show slave status \G
2016-02-23 13:48:05
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人