wjacketcn-CSDN博客

转载 Tomcat配置server.xml文件Executor元素属性

Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="150" minSpareThreads="4" /> Connector

2016-04-19 16:50:26 11522

转载 Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建

转自：http://weir2009.iteye.com/blog/2082719Ip 主机名程序进程192.168.137.11h1JdkHadoophbaseNamenodeDFSZKFailoverControllerHamster

2016-04-19 15:57:39 554

转载 HBase集群搭建

转自：http://www.tuicool.com/articles/Af6vYb1.概述今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示：基础软件的准备HBase介绍HBase集群搭建单点问题验证截图预览那么，接下来我们开始今天的HBase集群搭建学习。2.基础软件的准备

2016-04-19 15:45:28 526

转载 JAVA反射实现一个拦截器(Interceptor)

转自：http://blog.sina.com.cn/s/blog_6636c1110100yc0p.html实现一个拦截器必须要实现一下几个类：1 目标类接口：目标类要实现的接口。package com.lanvis.reflect;public interface ITarget { public void doSthing();

2016-04-14 18:08:47 2204

转载过滤器（filter）和拦截器（interceptor）区别

一、filter基于filter接口中的doFilter回调函数，interceptor则基于Java本身的反射机制；二、filter是依赖于servlet容器的，没有servlet容器就无法回调doFilter方法，而interceptor与servlet无关；三、filter的过滤范围比interceptor大，filter除了过滤请求外通过通配符可以保护页面、图片、文件等

2016-04-14 17:46:38 1554

转载 [Quartz] Job 详解

转自：http://ju.outofmemory.cn/entry/76660Job 非常容易实现，这个接口中只有一个 execute() 方法。Quartz 中可能需要为 Job 实例设置属性，这个功能通过 JobDetail 类来完成。JobDetail 实例通过 JobBuilder 创建。你可以使用静态导入所有的方法，这样可以在你的代码中使用 DSL 风格：

2016-04-12 14:24:23 12665

翻译 Spark Streaming + Flume Integration Guide

Spark Streaming + Flume Integration GuideApache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Here we e

2016-04-11 16:14:24 358

转载使用jackson对Java对象与JSON字符串相互转换

转自：http://www.blogjava.net/bolo/archive/2014/04/16/412533.html使用jackson对Java对象与JSON字符串相互转换的一些总结总结一下自己使用jackson处理对象与JSON之间相互转换的心得。 jackson是一个用Java编写的，用来处理JSON格式数据的类库，它速度非常快，目前来看使用很

2016-04-07 13:46:44 2391

转载 FTP 服务器主被动模式

FTP是仅基于TCP的服务，不支持UDP。与众不同的是FTP使用2个端口，一个数据端口和一个命令端口（也可叫做控制端口）。通常来说这两个端口是21（命令端口）和20（数据端口）。但FTP工作方式的不同，数据端口并不总是20。这就是主动与被动FTP的最大不同之处。（一）主动FTP 主动方式的FTP是这样的：客户端从一个任意的非特权端口N（N>1024）连接到FTP

2016-04-01 14:49:31 793

转载 AKKA 实现并发、分布式和容错

Actor系统　　把一个复杂的问题不断分解成更小规模的子问题通常是一种可靠的解决问题的技术。这个方法对于计算机科学特别有效（和单一职责原则一致），因为这样容易产生整洁的、模块化的代码，产生的冗余很少甚至没有，而且维护起来相对容易。　　在基于Actor的设计里，使用这种技术有助于把Actor的逻辑组织变成一个层级结构，也就是所谓的 Actor系统。Actor系统提供了一个基础框

2016-04-01 14:26:26 1664

转载 KAFKA分布式消息系统

Kafka的架构如下图所示：Kafka存储策略1. kafka以topic来进行消息管理，每个topic包含多个part（ition），每个part对应一个逻辑log，有多个segment组成。2. 每个segment中存储多条消息（见下图），消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。3. 每个part在内存中对应一个in

2016-03-30 11:21:58 282

转载 Flume接收Log4j日志

java程序log4j.properties文件，修改内容如下：注意依赖一定要有flume-ng-log4jappender，后面配置log4j要用。 log4j配置如下：### set log levels ###log4j.rootLogger=INFO, stdout, file, flumelog4j.logger.per.flume=INFO###

2016-03-24 11:07:30 640

转载 logstash input-file 插件使用详解

转自：http://www.cnblogs.com/xing901022/p/4805586.html最小化的配置文件　　在Logstash中可以在 input{} 里面添加file配置，默认的最小化配置如下：input { file { path => "E:/software/logstash-1.5.4/logstash-1

2016-03-23 10:17:24 7997

转载 Spring缓存注解@Cacheable、@CacheEvict、@CachePut使用

转自：http://tom-seed.iteye.com/blog/2104430缓存注解有以下三个：@Cacheable @CacheEvict @CachePut @Cacheable(value=”accountCache”)，这个注释的意思是，当调用这个方法的时候，会从一个名叫 accountCache 的缓存中查询，如果没

2016-03-21 13:49:40 83614 8

转载 SparkStreaming+Zookeeper+Kafka入门程序

原文链接：http://www.jianshu.com/p/5606253f4495准备工作：安装 spark安装 zookeeper安装 kafka开始工作1. 启动zookeeper打开终端，切换到 zookeeper HOME 目录，进入conf文件夹，拷贝一份 zoo_sample.cfg 副本并重命名为zoo.cfg切换到上级的bin目录中，执行

2016-03-21 10:47:38 549

转载分布式消息系统：Kafka

转自：http://www.biaodianfu.com/kafka.html Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统

2016-03-18 17:38:37 552

转载 zookeeper基本原理及适用场景

转自：http://blog.chinaunix.net/uid-26748613-id-4536290.html1.1 zookeeper简介 Zookeeper 是 Hadoop 生态系统中的协同实现，是Hadoop集群管理的一个必不可少的模块，它主要来控制集群中的数据，如它管理Hadoop集群中的NameNode，还有Hbase中Master

2016-03-18 10:27:39 393

转载配置高可用的Hadoop平台

转自：http://www.cnblogs.com/smartloli/p/4298430.html1.概述　　在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下：创建hadoop用户安装JDK配置hosts安装SSH关闭防火墙修改时区

2016-03-18 09:41:51 510

转载 HBase集群搭建

转自：http://www.cnblogs.com/smartloli/p/4513767.html1.概述　　今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示：基础软件的准备HBase介绍HBase集群搭建单点问题验证截图预览　　那么，接下来我们开始今天的HBase集群搭建学习。

2016-03-18 09:39:45 420

转载 Zookeeper 安装和配置

转自：http://coolxing.iteye.com/blog/1871009Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:Bash代码

2016-03-18 09:17:34 380

转载 ElasticSearch实战－编码实践

转自：http://www.cnblogs.com/smartloli/p/4720429.html1.概述　　前面在《ElasticSearch实战－入门》中给大家分享如何搭建这样一个集群，在完成集群的搭建后，今天给大家分享如何实现对应的业务功能模块，下面是今天的分享内容，目录如下所示：编码实践效果预览总结2.编码实践　　由于 ES 集群支

2016-03-17 15:24:11 1188

转载 ElasticSearch实战－日志监控平台部署

转自：http://www.cnblogs.com/smartloli/p/4701642.html1.概述　　今天接着《ElasticSearch实战－日志监控平台》一文来给大家分享后续的学习，在《ElasticSearch实战－日志监控平台》中给大家介绍一个日志监控平台的架构方案，接下来给大家分享如何去搭建部署这样一个平台，给大家做一个入门介绍。下面是今天的分享

2016-03-17 15:20:44 1052

转载 ElasticSearch实战－日志监控平台架构方案

转自：http://www.cnblogs.com/smartloli/p/4654973.html1.概述　　在项目业务倍增的情况下，查询效率受到影响，这里我们经过讨论，引进了分布式搜索套件——ElasticSearch，通过分布式搜索来解决当下业务上存在的问题。下面给大家列出今天分析的目录：ElasticSearch 套件介绍ElasticSearch

2016-03-17 15:14:26 2366 1

转载 Storm Cluster

转自：http://www.cnblogs.com/smartloli/p/4585268.html1.概述　　在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：

2016-03-17 14:57:55 551

转载 Kafka到Storm

转自：http://www.cnblogs.com/smartloli/p/4632644.html1.概述　　在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图　

2016-03-17 14:55:03 851

转载 Flume到Kafka

转自：http://www.cnblogs.com/smartloli/p/4615908.html1.概述前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览下面开始今天的分享内容。2.数据来源Kafka生产的

2016-03-17 14:10:29 792

转载 Kafka 开发简单示例

转载：http://www.cnblogs.com/smartloli/p/4543211.html1.概述　　上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享

2016-03-17 14:00:23 856

转载 Kafka Cluster 安装

转自：http://www.cnblogs.com/smartloli/p/4538173.html1.概述　　在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka Cluster的相关内容，下面是今天为大家分享的目录：基础软件的准备Kafka Cluster的部署Send Messa

2016-03-17 13:26:26 785

转载 Kafka 架构原理、应用场景

转自：http://www.cnblogs.com/smartloli/p/4530117.html1.概述　　经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：K

2016-03-17 13:15:55 5336

转载 ZooKeeper 安装，启动，验证

转自：http://www.cnblogs.com/smartloli/p/4298430.html2.7.1安装　　将下载好的安装包，解压到指定位置，这里为直接解压到当前位置，命令如下：tar -zxvf zk-{version}.tar.gz　　修改zk配置，将zk安装目录下conf/zoo_sample.cfg重命名zoo.cfg，修改其中

2016-03-17 13:01:56 26114

转载配置高可用的Hadoop平台

2016-03-17 09:59:47 475

转载 Flume ng 实战图解篇

转自：http://www.cnblogs.com/smartloli/p/4468708.html1.概述　　今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览　　下面开始今天的博客介绍。2

2016-03-16 17:11:05 3605

转载基于Flume的美团日志收集系统(一)架构和设计

转自：http://tech.meituan.com/mt-log-system-arch.html美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部

2016-03-16 16:00:22 307

转载新浪技术分享：我们如何扛下32亿条实时日志的分析处理

转自：http://cloud.51cto.com/art/201507/484338.htm我从2014年初入职新浪后就开始接触实时日志分析相关的技术，主要是ELK(Elasticsearch、Logstash、Kibana)，当时是学习+ELK优化，接一些日志，小打小闹。从2015年起，我们正式得把实时日志分析作为服务提供给公司的其他部门。今天要给大家分享的是在服务化的道路

2016-03-16 15:50:40 1035

转载 saltstack试用篇：一、源码安装与简单配置

转自：http://blog.chinaunix.net/uid-20908097-id-3984933.html本系列文章由初学者写，高手就不要浪费时间了 : )环境：centos6.2 minimum（最小化安装）特点：无外网测试机没有外网，就自己手动源码安装把，的确是要累一些...做个笔记记录一下官方文档说：安装需求python >=2.6

2016-03-14 09:36:27 1615

转载详解Spring MVC 4之ViewResolver视图解析器

转自：http://bbs.51cto.com/thread-1133128-1.html 所有的We MVC框架都有一套它自己的解析视图的机制，Spring MVC也不例外，它使用ViewResolver进行视图解析，让用户在浏览器中渲染模型。ViewResolver是一种开箱即用的技术，能够解析JSP、Velocity模板和XSLT等多种视图。 Spring处理视图

2016-03-11 13:59:22 1195

转载理解OAuth2.0

转自：http://www.cnblogs.com/linjiqin/p/4552727.html理解OAuth2.0OAuth是一个关于授权（authorization）的开放网络标准，在全世界得到广泛应用，目前的版本是2.0版。一、应用场景为了理解OAuth的适用场合，让我举一个假设的例子。有一个"云冲印"的网站，可以将用户储存在Google的照片，冲印

2016-03-11 11:24:55 220

转载 OAuth2.0认证和授权原理

什么是OAuth授权？一、什么是OAuth协议OAuth(开放授权)是一个开放标准。允许第三方网站在用户授权的前提下访问在用户在服务商那里存储的各种信息。而这种授权无需将用户提供用户名和密码提供给该第三方网站。OAuth允许用户提供一个令牌给第三方网站，一个令牌对应一个特定的第三方网站，同时该令牌只能在特定的时间内访问特定的资源。二、OAuth的原理和授权流

2016-03-11 11:16:53 496

转载使用 CAS 在 Tomcat 中实现单点登录

转自：http://www.ibm.com/developerworks/cn/opensource/os-cn-cas/index.html使用 CAS 在 Tomcat 中实现单点登录单点登录（Single Sign On , 简称 SSO ）是目前比较流行的服务于企业业务整合的解决方案之一， SSO 使得在多个应用系统中，用户只需要登录一次就可以访问所有相

2016-03-11 11:05:07 519

转载 salt常用命令、模块、执行

一、salt常用命令salt 该命令执行salt的执行模块，通常在master端运行，也是我们最常用到的命令salt [options] '' [arguments]如: salt '*' test.pingsalt-run 该命令执行runner(salt带的或者自定义的，runner以后会讲)，通常在master端执行，比如经常用到的managesal

2016-03-11 10:24:02 46959 3