2016年11月_lijieshare

【jersey 模拟Http请求】

1、代码如下：package cn.com; import javax.ws.rs.core.MediaType; import com.sun.jersey.api.client.Client;import com.sun.jersey.api.client.ClientResponse;import com.sun.jersey.api.client.WebRe...

2016-11-30 22:19:53 168

【Zeroc ICE 存根文件的作用】

ICE 存根文件的作用The compiler generates quite few source files for each Slice interface. Ingeneral, for an interface <interface-name>, the following source files are createdby the compiler:...

2016-11-30 19:15:52 138

Hadoop集群的管控一直是一个热门的话题，对于这样的一个应用场景，很早就有人研究并且取得不错的成绩，这就是EasyHadoop。它的功能主要有集群安装，管理，监控等功能，国外的Ambari是Apache的顶级项目，现在是大数据新贵Hortonworks公司在推进的项目Ambari，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从...

2016-11-29 22:59:10 383

ZeroICE入门示例

1、编写*.ice 文件module myHelloWorld{ interface HelloWorld{ void say(string s); }; }; 2、生成存根，命令slice2java ice文件 3、开发服务端导入生成的存根文件引入ICE安装目录下面相应的jar包：Ice.jar 4...

2016-11-29 22:34:44 282

【Java RMI介绍以及编写Demo】

一、RMI介绍Java RMI 指的是远程方法调用 (Remote Method Invocation)。它是一种机制，能够让在某个 Java 虚拟机上的对象调用另一个 Java 虚拟机中的对象上的方法。可以用此方法调用的任何对象必须实现该远程接口。Java RMI不是什么新技术（在Java1.1的时代都有了），但却是是非常重要的底层技术。大名鼎鼎的EJB都是建立在rmi基础之上的，现...

2016-11-28 22:05:39 111

【RPC框架之Zeroc ICE 介绍】

一、Zeroc ICE 介绍Zeroc ICE ( Internet Communications Engine )中间件号称标准统一，开源，跨平台，跨语言，分布式，安全，服务透明，负载均衡，面向对象，性能优越，防火墙穿透，通讯屏蔽。因此相比Corba，DCOM，SOAP，J2EE等的中间件技术，自然是集众多优点于一身，而却没有他们的缺点。 Ice is a comprehensi...

2016-11-28 20:07:13 589

【RPC框架之Finagle】

1、Finagle介绍Finagle是Twitter基于Netty开发的支持容错的、协议无关的RPC框架，该框架支撑了Twitter的核心服务。 Twitter面向服务的架构是由一个庞大的Ruby on Rails应用转化而来的。为了适应这种架构的变化，需要有一个高性能的、支持容错的、协议无关且异步的RPC框架。在面向服务的架构之中，服务会将大多数的时间花费在等待上游服务的响应...

2016-11-27 21:12:23 309

大数据之Presto 介绍

一、PRESTO是什么Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。二、PRESTO可以做什么Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。一条Presto查询可...

2016-11-27 21:01:41 226

【kafka源码改写（一）】

1、启动类改写package kafka; import java.util.Properties; import kafka.metrics.KafkaMetricsReporter1;import kafka.server.KafkaConfig;import kafka.server.KafkaServerStartable;import kafka.ut...

2016-11-25 22:21:30 138

kafka源码本地测试

1、安装zookeepr环境验证：确保环境OK 2、启动kafka环境设置编译环境启动kafka服务 3、启动生产者 kafka服务确实运行在本机 4、启动消费者 ...

2016-11-24 23:33:39 113

【Mycat扩容方案个人设计】

无论是Mycat的新增数据节点扩容还是缩减数据节点，都涉及到数据的重新分布。下面这张图是实际假设的数据分布情况。二、扩容方案1)扩容方案一：表中增加一个冗余标志位字段，默认为0 如果遇到迁移数据，我首先发送一条SQL语句把冗余标志位改为1，标识这条数据需要重新分布。然后进行扩容，重新加载配置文件，剩下情况就是处理冗余标志为1的数据了2)扩容方案二<table n...

2016-11-23 21:21:14 220

【Kafka 源码编译导入Eclipse】

1、下载kafka源码 2、下载编译环境 3、编译过程编译完毕界面 4、导入Eclipse验证此问题原因是因为没有启动zookeeper，导致链接zk超时运行kafka主方法即入口方法 ...

2016-11-23 20:18:37 420

【Mybatis源码阅读之SqlSessionFactory 何时实例化】

//mybatis的配置文件String resource = "conf.xml";//使用类加载器加载mybatis的配置文件（它也加载关联的映射文件）// InputStream is = App.class.getClassLoader().getResourceAsStream(resource);Reader reader = Resources.getResour...

2016-11-22 21:03:23 143

【分布式系统常见的问题以及术语】

分布式系统之----CAP理论【分布式的存储系统之一致性哈希算法】一、选择分布式系统的动机 (1) 信息交换 (2) 资源共享 (3) 通过重复提高可靠性 (4) 通过并行化提高性能 (5) 通过专门化简化设计 (6) 问题本身的特点决定人多力量大，是没有错误的，但是人多也有坏处二、分布式系统进程通信，rpc基本原理...

2016-11-22 20:28:48 155

【Mycat 发展遇到的瓶颈问题】

这两个问题不但是目前Mycat遇到的问题，也是分布式其他系统遇到的问题，解决方案只能寻求折中，要么时间换空间，要么空间换时间。1、多重聚合问题比如我有一个日志表：部门、用户、模块、访问时间..........，现在有一个如下的需求：实时统计哪个部门哪个用户，在某一个时刻，访问哪个系统模块最多。 select 部门...

2016-11-21 21:34:35 389 1

【设计模式之六大设计原则】

1、单一职责原则(Single Responsibility Principle, SRP)：一个类只负责一个功能领域中的相应职责，或者可以定义为：就一个类而言，应该只有一个引起它变化的原因。-->避免出现上帝类 2、开闭原则(Open-Closed Principle, OCP)：一个软件实体应当对扩展开放，对修改关闭。即软件实体应尽量在不修改原有代码的情况下进行扩展。 ...

2016-11-21 20:12:15 83

JAVA之sql解析工具JSqlParser介绍

What is itJSqlParser parses an SQL statement and translate it into a hierarchy of Java classes.The generated hierarchy can be navigated using the Visitor Patternjsqlparser结构简单，继承也不复杂，并且setter和g...

2016-11-20 21:29:36 960

【程序员之路成长的三种境界】

王国维的人生三种境界古今之成大事业、大学问者，必经过三种之境界："昨夜西风凋碧树。独上高楼，望尽天涯路。"此第一境也。"衣带渐宽终不悔，为伊消得人憔悴。"此第二境也。"众里寻他千百度，蓦然回首，那人却在灯火阑珊处。"此第三境也。此等语皆非大词人不能道。然遽以此意解释诸词，恐为晏欧诸公所不许也。" ...

2016-11-20 20:07:02 148

原创 Why 分库分表 & Why Use Mycat

在互联网时代，海量数据的存储与访问成为系统设计与使用的瓶颈问题，对于海量数据处理，按照使用场景，主要分为两种类型：联机事务处理（OLTP）和联机分析处理（OLAP）。联机事务处理（OLTP）也称为面向交易的处理系统，其基本特征是原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果,实时读写要求高。联机分析处理（OLAP）是指通过多维的方式对数据进行分析、查询和报表，...

2016-11-19 21:17:50 86

【Mycat 1.6 之路由与分发流程】

一、Mycat 的路由与分发流程从原理上来看，可以把 mycat 看成一个 sql 转发器。mycat 接收到前端发来的 sql，然后转发到后台的 mysql 服务器上去执行。但是后面有很多台 mysql 节点（如 dn1，dn2，dn3），该转发到哪些节点呢？这就是路由解析该做的事情了。路由能保证 sql 转发到正确的节点。转发的范围是刚刚好，不多发也不少发。多发会出现两种问题：浪费性能...

2016-11-19 20:47:37 109

【Mycat 1.6之TableRule分片规则介绍】

1、TableRule介绍1)schema.xml文件<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"><!-- auto shardi...

2016-11-18 20:38:08 778

【Mycat1.6之注解&多租户】

一、Mycat之分片--节点--主机分片节点(dataNode)数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节（dataNode）。节点主机(dataHost)数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（data...

2016-11-18 00:09:19 335

【Mycat1.6中间件之表分类】

1、逻辑表既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。 2、分片表分片表，是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。例如在 mycat 配置中的 t_node ...

2016-11-17 22:21:44 90

大数据之Druid-IO介绍

一、Druid介绍Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统，提供极具成本效益并且永远在线的实时数据摄取和任意数据处理。Druid 是一个开源的，分布式的，列存储的，适用于实时数据分析的存储系统，能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。 Key FeaturesDesigned for Analytics - Druid is ...

2016-11-17 21:58:51 173

【Mybatis自定义DataSource使用druid】

一、mybatis配置文件<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><configu

2016-11-15 22:24:04 437

Mycat1.6使用show @@help 语法

一、使用场景show @@help 是一个方便进行管理的命令，所使用的端口是9906，可以根据这个端口来做一个监控系统，监控mycat,已经有mycat-web这个系统来监控了，管理端口目前不支持SQL查询语句，支持以下监控语法命令，而8806是业务系统用来接收SQL语句然后路由的系统，还没有试过有哪些SQL语句目前支持不了。二、语法结构mysql> show @@he...

2016-11-15 19:55:54 350

Mycat1.6使用Maven打包字符编码问题解决方案

1、错误代码[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile) on project Mycat-server: Compilation failure[ERROR] \Documents and Settings\Ad...

2016-11-14 22:30:53 191

Mycat1.6之firewall配置

1、新建用户并授权CREATE USER 'test'@'%' IDENTIFIED BY 'root'; GRANT SELECT, INSERT, UPDATE, DELETE, SHOW DATABASES ON *.* TO 'test'@'%'; GRANT SELECT, INSERT, UPDATE, REFERENCES, CREATE VIEW, SHOW...

2016-11-14 22:04:43 347

【Mycat操作之分库分表入门】

Mycat 是一个数据库读写分离和分库分表的好东西实验架构：实验脚本见附件【20161112mycat.rar 】 1）下载Mycat-Server1.6版本的程序，设置MYCAT_HOME路径参数。 2）配置schema.xml文件 3）数据库建表操作，连接逻辑数据库TESTDB，端口是 DEFAULT_PORT = 8066; 4）实验验证阶段...

2016-11-12 20:48:29 219

Mycat1.6启动报NumberFormatException解决方案

2016-11-12 18:28:27,094 [INFO ][main] sysconfig params:SystemConfig [processorBufferLocalPercent=100, frontSocketSoRcvbuf=1048576, frontSocketSoSndbuf=4194304, backSocketSoRcvbuf=4194304, backSocket...

2016-11-12 18:35:12 1039

Mybatis源码阅读之UnpooledDataSource

package org.apache.ibatis.datasource.unpooled;import java.io.PrintWriter;import java.sql.Connection;import java.sql.Driver;import java.sql.DriverManager;import java.sql.DriverPropertyInfo;...

2016-11-11 22:53:41 141

Mybatis源码阅读之PooledDataSourceFactory

源码一：PooledDataSourceFactory 继承自UnpooledDataSourceFactory package org.apache.ibatis.datasource.pooled;import org.apache.ibatis.datasource.unpooled.UnpooledDataSourceFactory;/** * @author Clint...

2016-11-11 22:46:38 636

Mybatis源码阅读之DatabaseFactory

package org.apache.ibatis.metadata; import java.sql.Connection;import java.sql.DatabaseMetaData;import java.sql.ResultSet;import java.sql.SQLException; public class DatabaseFactory { ...

2016-11-10 22:19:06 121

【Mybatis源码阅读之StatementHandler】

StatementHandler设计方式：接口StatementHandler --> 基类BaseStatementHandler ---> 子类SimpleStatementHandler 源码阅读之：1、继承关系 2、接口定义 3、基类实现 ...

2016-11-08 19:53:47 106

【Mybatis源码阅读之MappedStatement 】

源码阅读：package org.apache.ibatis.mapping; import org.apache.ibatis.cache.Cache;import org.apache.ibatis.executor.keygen.Jdbc3KeyGenerator;import org.apache.ibatis.executor.keygen.KeyGenera...

2016-11-08 19:37:48 203

Mybatis源码阅读之SqlBuilder

package org.apache.ibatis.jdbc; import java.util.ArrayList;import java.util.List; public class SqlBuilder { private static final String AND = ") \nAND ("; private static final S...

2016-11-07 21:50:42 243

Mybatis源码阅读之Executor

Executor到SimpleExecutor的设计架构，简化了底层类需要实现的方法。1、Executor源码继承关系 2、Execulietor接口方法声明列表-->12个待实现方法 3、BaseExecutor抽象类public abstract class BaseExecutor implements Executor { }} ...

2016-11-07 21:38:42 119

Mybatis源码阅读之FIFO (FifoCache )

package org.apache.ibatis.cache.decorators; import org.apache.ibatis.cache.Cache; import java.util.LinkedList;import java.util.concurrent.locks.ReadWriteLock; /** * FIFO (first ...

2016-11-06 12:30:41 290

Mybatis源码阅读之LRU(LruCache )

package org.apache.ibatis.cache.decorators; import org.apache.ibatis.cache.Cache; import java.util.LinkedHashMap;import java.util.Map;import java.util.concurrent.locks.ReadWriteL...

2016-11-06 12:29:00 200

Ibatis源码阅读LRU (least recently used) 之LruCacheController

2016-11-05 21:48:00 98

空空如也

单点登录

充分利用数据库主键