2016年06月_node2017

06月 05月 04月 03月 02月

原创 mycat实现mysql读写分离，热切换，集群

在互联网时代，实现mysql读写分离，热切换，集群能大大提高mysql数据库访问压力，防止数据丢失，使用mycat能帮我们实现这些。我们要实现的是这种架构。1、Mycat能实现数据库的垂直切分和水平切分，这里用户写数据的时候，通过mycat把数据按照特定的规则存储到mysql-1，mysql-2，mysq-3…中，读的时候，分布从mysql-1，mysql-2，mysql-3…等读出数据然后由tom

2016-06-17 10:40:12 6733 2

原创 mycat是什么鬼？垂直切分？水平切分？

mycat是什么鬼mycat是国人开发的一款开源的数据库中间件，他的作用就是伪装成一个真的数据库，然后在它背后，连的是多种类型，集群分布式的真实数据库。他的体系结构就像下面：需要理解mycat的几个概念。schema:逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。 table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所

2016-06-17 08:59:11 10981 2

原创 mysql主主复制，只因为mycat集群需要

本来想着搭建一下mysql的主从复制，可以把mycat的mysql集群搞起来，发现，mysql主从搭建的mycat mysql集群不太合理，所以，还是用先搭建下mysq的主主复制吧。顺便记下笔记，将来方便查阅。在前篇文章http://blog.csdn.net/yingxiake/article/details/51691986，mysql的主从复制搭建上，搭建下mysql的主主复制，也是很简单。1

2016-06-16 17:49:56 3103

原创 mysql主从复制，很简单

mysql主持很多主从复制架构，将master的数据复制到slave的数据库中。下面将搭建最简单的主从架构，master的ip为192.168.137.103，slave的ip为192.168.137.104，数据库的安装参考http://blog.csdn.net/yingxiake/article/details/51656970，这里使用的是5.7的mysq版本。1、修改master上的配置文

2016-06-16 16:01:38 2217

原创 zookeeper简介，集群部署

zookeeper是什么Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好像说得比较抽象，举个场景，在集群分布式服务中，我们常常遇到这些问题1、集群中，每个节点的状态怎么监控，怎么进行负载均衡，一个节点down了，怎么让客户端知道？ 2、节点那么

2016-06-15 16:18:08 2945

原创配置哨兵监控Redis运行情况

Redis的主从架构，如果master发现故障了，还得手动将slave切换成master继续服务，手动的方式容易造成失误，导致数据丢失，那Redis有没有一种机制可以在master和slave进行监控，并在master发送故障的时候，能自动将slave切换成master呢？有的，那就是哨兵。哨兵的作用： 1、监控redis进行状态，包括master和slave 2、当master down机，能

2016-06-14 16:57:56 20681 3

原创 Redis配置主从从架构

redis的主从架构的缺点是所有的slave节点数据的复制和同步都由master节点来处理，会照成master节点压力太大，所以我们使用以下朱从从构来处理本文的实验，将在http://blog.csdn.net/yingxiake/article/details/51669030 继续将103的配置文件，主从关系设置成102为主重启下服务，查看下各机器的主从关系若出现连接不上，配置没问题，是不是你没

2016-06-14 13:53:27 2006

原创 Redis配置主从架构，实现读写分离

Redis的主从架构，能帮助我们实现读多，写少的情况，下面配置Redis架构，很简单。准备环境 vmware + rhel-server-7.0(101，102，103)+redis-3.2.01、在192.168.137.101安装好redis3.2.0，我安装的目录如下redis的安装参考http://blog.csdn.net/yingxiake/article/details/5146936

2016-06-14 13:00:27 19972

原创 Redis持久化，RDB和AOF

Redis强大的功能很大部分是由于他把数据缓存在内存中，为了使Redis在重启的时候，数据不丢失，就需要已某种方式把数据持久化到磁盘中。Redis持久化的方式有俩种，RDB和AOF。RDB：快照方式，允许你每隔一段时间对内存数据做一次快照然后存储到硬盘中。该方式是Redis默认的持久化方式。RDB可以通过在配置文件中配置时间或者改动键的个数来定义快照条件，编辑配置文件redis.conf，找到sav

2016-06-14 08:19:02 6614 1

原创安装并使用mysql5.7作为hive的metastore

前言hive的metastore默认是使用derby来作为metastore，但是derby有一个缺点是不能支持多用户链接，虽然你可以通过切换目录来支持，但是不同目录的metastore会不一致，所以这里使用mysql来作为hive的metastore。在linux上安装mysql数据库1、下载最新的mysql数据库，这里使用的版本是5.7.13，这里是使用二进制rpm进行安装mysql-commu

2016-06-13 13:47:33 7166

原创 HBase 常见Shell命令总结

用HBase的时候，老是忘记一些shell命令，每次都需要上网查，好麻烦，干脆就把常见的shell都总结一下吧。进入命令行界面1、进入shell命令行界面./hbase shell表结构相关命令2、创建表结构，这里创建test表，包含fcol1，fcol2create 'test', 'fcol1', 'fcol2'#或create 'test', {NAME => 'fcol1', VERSI

2016-06-12 21:11:20 1099

原创 hadoop MapReduce运行机制

MapReduce是hadoop的计算框架，用于大规模数据集的并行运算。俩个主要的节点，ResourceManager和NodeManager。ResourceManager：资源的管理者和协调者，使用Container来管理集群资源，container包括一些io，内存等资源。ResourceManager在管理和协调上主要由俩个组件构成，Scheduler和ApplicationsManager

2016-06-12 11:37:04 1150

原创 hadoop hdfs运行机制

hdfs特点hdfs是hadoop的分布式文件系统，用于存储大数据，它的特点是： 1.分布式部署，利用廉价的机器存储大数据 2.提供副本机制，容错机制，在机器宕机或副本丢失，自动恢复，默认副本保存3份关注三个主要节点：1.NameNode:整个文件系统的管理节点，接收用户的请求，保存着文件/目录的元数据信息和每个文件对应的block的映射列表。在linux系统上，它保存着三个重要文件 a.fs

2016-06-11 13:27:36 2268

原创自定义标签 + shiro 实现权限细粒度控制

这里我们是使用shiro来实现登录验证，授权等操作，然后利用自定义jsp标签来实现权限菜单的细力度控制。所谓的细粒度控制，就是根据用户登录权限的不同，显示不同的菜单，例如，用户如果有添加用户，修改用户的权限，我们就显示这个俩个菜单，然后我们并不显示删除用户的菜单。如何自定义jsp标签1.定义一个权限标签，命名为mytag.tld<?xml version="1.0" encoding="UTF-8"

2016-06-03 14:24:15 32077 5

原创 linux配置SSH协议免登录密码

在linux，我们可以利用ssh协议，登录到另外一台主机，也可以利用ssh协议向另外一台主机发送命令，让另外一台主机执行，但是有个不好的地方就是每次链接或者发送命令都需要登录，那我们怎么配置让它免登录呢？1.我们先路由到根目录的.ssh目录2.我们在这里生成一对私钥和共钥，用来做免登录认证3.再利用ssh-copy-id将公钥发送给需要链接的主机4.然后就可以进行免登录密码验证了说下原理，看图理解，

2016-06-02 20:51:06 680

原创 hadoop安装和配置(很简单)

我的环境是vmware12 + rhel7 + hadoop2.4 + jdk7linux环境配置1.配置网络ip地址和主机名，这里我配置的ip地址是192.168.137.102，主机名为rhel7-02 2.安装jdk并配置jdk环境变量 3.关闭防火墙，rhel7关闭防火墙的方法如下：systemctl status firewalld //查看防火墙状态systemctl stop

2016-06-02 18:22:21 951