- 博客(16)
- 资源 (7)
- 收藏
- 关注
原创 mycat实现mysql读写分离,热切换,集群
在互联网时代,实现mysql读写分离,热切换,集群能大大提高mysql数据库访问压力,防止数据丢失,使用mycat能帮我们实现这些。我们要实现的是这种架构。1、Mycat能实现数据库的垂直切分和水平切分,这里用户写数据的时候,通过mycat把数据按照特定的规则存储到mysql-1,mysql-2,mysq-3…中,读的时候,分布从mysql-1,mysql-2,mysql-3…等读出数据然后由tom
2016-06-17 10:40:12 6733 2
原创 mycat是什么鬼?垂直切分?水平切分?
mycat是什么鬼mycat是国人开发的一款开源的数据库中间件,他的作用就是伪装成一个真的数据库,然后在它背后,连的是多种类型,集群分布式的真实数据库。他的体系结构就像下面:需要理解mycat的几个概念。schema:逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。 table:表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所
2016-06-17 08:59:11 10981 2
原创 mysql主主复制,只因为mycat集群需要
本来想着搭建一下mysql的主从复制,可以把mycat的mysql集群搞起来,发现,mysql主从搭建的mycat mysql集群不太合理,所以,还是用先搭建下mysq的主主复制吧。顺便记下笔记,将来方便查阅。在前篇文章http://blog.csdn.net/yingxiake/article/details/51691986,mysql的主从复制搭建上,搭建下mysql的主主复制,也是很简单。1
2016-06-16 17:49:56 3103
原创 mysql主从复制,很简单
mysql主持很多主从复制架构,将master的数据复制到slave的数据库中。下面将搭建最简单的主从架构,master的ip为192.168.137.103,slave的ip为192.168.137.104,数据库的安装参考http://blog.csdn.net/yingxiake/article/details/51656970,这里使用的是5.7的mysq版本。1、修改master上的配置文
2016-06-16 16:01:38 2217
原创 zookeeper简介,集群部署
zookeeper是什么Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好像说得比较抽象,举个场景,在集群分布式服务中,我们常常遇到这些问题1、集群中,每个节点的状态怎么监控,怎么进行负载均衡,一个节点down了,怎么让客户端知道? 2、节点那么
2016-06-15 16:18:08 2945
原创 配置哨兵监控Redis运行情况
Redis的主从架构,如果master发现故障了,还得手动将slave切换成master继续服务,手动的方式容易造成失误,导致数据丢失,那Redis有没有一种机制可以在master和slave进行监控,并在master发送故障的时候,能自动将slave切换成master呢?有的,那就是哨兵。哨兵的作用: 1、监控redis进行状态,包括master和slave 2、当master down机,能
2016-06-14 16:57:56 20681 3
原创 Redis配置主从从架构
redis的主从架构的缺点是所有的slave节点数据的复制和同步都由master节点来处理,会照成master节点压力太大,所以我们使用以下朱从从构来处理本文的实验,将在http://blog.csdn.net/yingxiake/article/details/51669030 继续将103的配置文件,主从关系设置成102为主重启下服务,查看下各机器的主从关系若出现连接不上,配置没问题,是不是你没
2016-06-14 13:53:27 2008
原创 Redis配置主从架构,实现读写分离
Redis的主从架构,能帮助我们实现读多,写少的情况,下面配置Redis架构,很简单。准备环境 vmware + rhel-server-7.0(101,102,103)+redis-3.2.01、在192.168.137.101安装好redis3.2.0,我安装的目录如下redis的安装参考http://blog.csdn.net/yingxiake/article/details/5146936
2016-06-14 13:00:27 19972
原创 Redis持久化,RDB和AOF
Redis强大的功能很大部分是由于他把数据缓存在内存中,为了使Redis在重启的时候,数据不丢失,就需要已某种方式把数据持久化到磁盘中。Redis持久化的方式有俩种,RDB和AOF。RDB:快照方式,允许你每隔一段时间对内存数据做一次快照然后存储到硬盘中。该方式是Redis默认的持久化方式。RDB可以通过在配置文件中配置时间或者改动键的个数来定义快照条件,编辑配置文件redis.conf,找到sav
2016-06-14 08:19:02 6615 1
原创 安装并使用mysql5.7作为hive的metastore
前言hive的metastore默认是使用derby来作为metastore,但是derby有一个缺点是不能支持多用户链接,虽然你可以通过切换目录来支持,但是不同目录的metastore会不一致,所以这里使用mysql来作为hive的metastore。在linux上安装mysql数据库1、下载最新的mysql数据库,这里使用的版本是5.7.13,这里是使用二进制rpm进行安装mysql-commu
2016-06-13 13:47:33 7167
原创 HBase 常见Shell命令总结
用HBase的时候,老是忘记一些shell命令,每次都需要上网查,好麻烦,干脆就把常见的shell都总结一下吧。进入命令行界面1、进入shell命令行界面./hbase shell表结构相关命令2、创建表结构,这里创建test表,包含fcol1,fcol2create 'test', 'fcol1', 'fcol2'#或create 'test', {NAME => 'fcol1', VERSI
2016-06-12 21:11:20 1101
原创 hadoop MapReduce运行机制
MapReduce是hadoop的计算框架,用于大规模数据集的并行运算。俩个主要的节点,ResourceManager和NodeManager。ResourceManager:资源的管理者和协调者,使用Container来管理集群资源,container包括一些io,内存等资源。ResourceManager在管理和协调上主要由俩个组件构成,Scheduler和ApplicationsManager
2016-06-12 11:37:04 1150
原创 hadoop hdfs运行机制
hdfs特点hdfs是hadoop的分布式文件系统,用于存储大数据,它的特点是: 1.分布式部署,利用廉价的机器存储大数据 2.提供副本机制,容错机制,在机器宕机或副本丢失,自动恢复,默认副本保存3份关注三个主要节点:1.NameNode:整个文件系统的管理节点,接收用户的请求,保存着文件/目录的元数据信息和每个文件对应的block的映射列表。在linux系统上,它保存着三个重要文件 a.fs
2016-06-11 13:27:36 2268
原创 自定义标签 + shiro 实现权限细粒度控制
这里我们是使用shiro来实现登录验证,授权等操作,然后利用自定义jsp标签来实现权限菜单的细力度控制。所谓的细粒度控制,就是根据用户登录权限的不同,显示不同的菜单,例如,用户如果有添加用户,修改用户的权限,我们就显示这个俩个菜单,然后我们并不显示删除用户的菜单。如何自定义jsp标签1.定义一个权限标签,命名为mytag.tld<?xml version="1.0" encoding="UTF-8"
2016-06-03 14:24:15 32081 5
原创 linux配置SSH协议免登录密码
在linux,我们可以利用ssh协议,登录到另外一台主机,也可以利用ssh协议向另外一台主机发送命令,让另外一台主机执行,但是有个不好的地方就是每次链接或者发送命令都需要登录,那我们怎么配置让它免登录呢?1.我们先路由到根目录的.ssh目录2.我们在这里生成一对私钥和共钥,用来做免登录认证3.再利用ssh-copy-id将公钥发送给需要链接的主机4.然后就可以进行免登录密码验证了说下原理,看图理解,
2016-06-02 20:51:06 680
原创 hadoop安装和配置(很简单)
我的环境是vmware12 + rhel7 + hadoop2.4 + jdk7linux环境配置1.配置网络ip地址和主机名,这里我配置的ip地址是192.168.137.102,主机名为rhel7-02 2.安装jdk并配置jdk环境变量 3.关闭防火墙,rhel7关闭防火墙的方法如下:systemctl status firewalld //查看防火墙状态systemctl stop
2016-06-02 18:22:21 953
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人