2016年11月_牛奋lch

12月 11月 10月 09月 08月 07月

原创使用WebMagic爬CSDN上的文章

一、先上代码import java.util.List;import org.apache.http.HttpHost;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;import us.codecraft.webmagic.Spider;import us.codecraft.webmagic.

2016-11-30 17:44:51 4573 1

翻译 Camel企业级集成模式--Aggregator

1、前言：用了Aggregator这个模式几个月了，自己对于其中的原理一向不怎么上心，直到前些天项目中的一个突发问题引发了我的兴趣，于是开始探究Aggregator模式的原理，下面来和大家分享一下。2、概述Apache Camel总共提供了60种左右的企业级集成模式，有5种模式比较常见，分别是Aggregator、Splitter、Routing Slip、Dynamic Router

2016-11-25 09:53:07 2506

转载 Hbase表设计总结

1. Row Key是HBase表结构设计中很重要的一环，它设计的好坏直接影响程序和HBase交互的效率和数据存储的性能。 2. Base的表结构比传统关系型数据库更灵活，你能存储任何二进制数据在表中，而且无关数据类型。 3. 在相同的列族中所有数据都具有相同的接入模式 4. 主要是通过Row Key来建立索引 5. 以纵向扩张为主设计的表结构能快速简单的获取数据，

2016-11-24 14:57:27 880

原创 Hbase中内置Filter详解

一、建表1、表名：“ORDER_TABLE”2、列簇：“user”，“order”，“item”3、表结构如下：二、封装服务服务代码如下：@Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setFilter(filter);

2016-11-22 16:12:39 12138

原创 Kafka环境搭建以及服务封装

一、安装前准备1、kafka版本：kafka_2.10-0.10.1.0.tgz2、zookeeper版本：zookeeper-3.4.3.tar.gz3、zookeeper集群：192.168.1.108:2181,192.168.1.109:2181,192.168.1.110:21814、hosts文件中主机与ip映射关系192.168.1.108 master19

2016-11-18 14:12:36 4567

转载让HBase和Zookeeper分离开来单独执行

原文地址：http://blog.csdn.net/amghost/article/details/45217621前言Hbase自带的有一个Zookeeper，在standalone模式下很好用，但是有时候我们想把zookeeper独立出来，其他的应用也可以使用独立的zookeeper集群比如Kafka，方便管理配置。这其中包含两步：设置HBase不要自己管理Zookee

2016-11-17 23:03:17 2039

原创 spring整合redis sentinel实现redis HA服务调用

一、redis-sentinel HA架构搭建详细的搭建过程，请参考另一篇文章，地址如下：http://blog.csdn.net/liuchuanhong1/article/details/53206028二、引入依赖的jar包dependency>groupId>redis.clientsgroupId>artifactId>jedisartifactI

2016-11-17 22:28:43 1460

原创 redis sentinel部署(Windows下实现)

一、准备条件1、操作系统：win72、redis版本：redis-2.8.19二、下载redis并解压1、下载由于redis官方并不支持windows操作系统，所以官网上是下不到的，需要到gitlab上下载，下载地址如下：https://github.com/MSOpenTech/redis/releases?after=win-2.8.21012、解压将下载后的z

2016-11-17 20:12:41 15672 26

原创 zookeeper集群环境搭建

一、安装环境1、VM：VMware-workstation7.0.12、OS:CentOS6.43、JDK:JDK1.8.0_1114、Zookeeper-3.4.3.tar.gz5、三台虚拟机器：192.168.1.108，192.168.1.109，192.168.1.110二、安装JDK 如果出现上面的信息，则说明Java环境已经是OK的，否则需要先搭建Jav

2016-11-16 22:32:02 897

原创 spring data hadoop操作hbase

一、使用的jar版本1、hbase-client：0.96.1.1-cdh5.0.02、spring-data-hadoop：2.2.1.RELEASE3、Spring:4.2.1.RELEASE二、hbase-site.xml配置configuration> property> name>hbase.zookeeper.quorumname>

2016-11-10 18:08:01 14364 1

原创搭建HBase单机环境

一、安装环境1、VM：VMware-workstation7.0.12、OS:CentOS6.43、JDK:JDK1.8.0_1114、HBase:hbase-0.90.4.tar.gz二、安装Java环境如果出现上面的信息，则说明Java环境已经是OK的，否则需要先搭建Java环境，具体的Java环境搭建就不在这里赘述了，本篇的重点是HBase的单机环境搭建。三

2016-11-04 13:10:33 814