han_zw-CSDN博客

原创 smiley-http-proxy-servlet 反向代理时丢失cookie的问题

在使用smiley-http-proxy-servlet实现反向代理时，发现在进行转发时原始request中的cookie信息丢失了。翻看了其源代码后发现在ProxyServlet进行http转发时是有copy原始request中的header（包括cookie）的操作的，如下： /** Copy request headers from the servlet client to the...

2017-02-15 22:20:27 1800

原创 hadoop 2.7.2 yarn中文文档——NodeManager 重启

介绍本文档给出NodeManager（NM） restart的概览，该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看，NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时，它首先为各个子系统加载state信息，之后让这些子系统利用加载的state重新执行恢复。...

2016-11-21 11:25:11 1505

原创 hadoop 2.7.2 yarn中文文档——YARN 命令

概述YARN命令通过bin/yarn 脚本调用.不传入任何参数运行该脚本会打印所有命令的描述。Usage: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]YARN有一个option解析框架用来解析通用options和运行class。COMM...

2016-11-18 15:33:01 603

原创 hadoop 2.7.2 yarn中文文档——编写 YARN Applications

目标本文在较高层次介绍实现YARN的application的方式。概念和流程通俗讲就是一个application提交客户端提交一个application到YARN Resource Manager（RM）。通过建立YarnClient对象可以完成这个工作。YarnClient启动之后，client之后可以建立application context，准备包含ApplicationM...

2016-11-11 22:58:46 409

原创 hadoop 2.7.2 yarn中文文档——The YARN Timeline Server

概述介绍在YARN中通过Timeline Server用一种通用的形式解决对application的当前和历史信息的存储和检索。它有两个职责：持久化Application特定信息Application或者framework的完整特定信息的收集和检索。例如，Hadoop Mapreduce framework会包含诸如map task数目，reduce task数目，counte...

2016-10-24 22:59:27 1618

原创 hadoop 2.7.2 yarn中文文档——Web Application Proxy

Web Application Proxy是YARN的一部分。默认情况下它会作为Resource Manager（RM）的一部分运行，但是可以配置为独立运行的模式。Proxy的意义是减少通过YARN的网络攻击的可能性。在YARN中，Application Master(AM)有责任提供Web UI并将该链接发送至RM。这带来了一些潜在的问题——RM作为一个可信任的用户运行，人们信任正在访问...

2016-09-28 15:41:04 608

原创 hadoop 2.7.2 yarn中文文档——YARN Node Labels

概述Node label是将相似特点的节点进行分组的一种途径，application可以指定在哪里运行。现在我们只支持node partition：一个node只能有一个node partition, 所以一个集群通过node partition被分为多个互斥的子集群。默认的，node都属于DEFAULT分区（partition=""）。用户需要配置每个partition可以使用...

2016-09-23 13:38:58 711

原创 hadoop 2.7.2 yarn中文文档——ResourceManager High Availability

介绍本指南提供YARN的ResourceManager 的HA概览，以及如何配置和使用这些特性。ResourceManager(RM)负责跟踪集群中的资源，调度application(如MapReduce job)。hadoop 2.4之前，ResourceManager在YARN集群中存在单点故障的隐患。HA特性通过主备ResourceManager的方案解决单点故障问题。架构 ...

2016-09-13 10:52:06 393

原创 hadoop 2.7.2 yarn中文文档——ResourceManger Restart

综述ResourceManager是管理资源和调度YARN中运行的application的中心机构。因此，它在Apache YARN 集群中存在潜在的单点故障。本文档给出有关ResourceManager Restart特性的概述，该特性强化ResourceManager可以跨越重启操作继续运转，另外让ResourceManager的停机时间对终端用户不可见。ResourceManag...

2016-09-08 13:46:18 330

原创 hadoop 2.7.2 yarn中文文档——Fair Scheduler

目标本文档描述FairScheduler，一个允许YARN应用程序公平共享集群资源的调度插件。概述公平调度是一个分配资源给所有application的方法，平均来看，是随着时间的进展平等分享资源的。下一代Hadoop可调度多资源类型。默认的，FairScheduler只基于内存的公平调度策略。它可以配置为包括内存和cpu的调度，采用Ghodsi等开发的主资...

2016-09-01 22:15:37 305

原创 hadoop 2.7.2 yarn中文文档—— Capacity Scheduler

目标本文档将描述CapacityScheduler，它作为一个可插拔的hadoop调度器,允许多租户安全的共享一个大的集群，在资源分配有限的条件下适时的为应用程序分配资源。综述CapacityScheduler被设计作为一个共享的、多租户集群用来运行hadoop应用，在操作友好的方式下最大化集群吞吐量和利用率。传统的，每个组织(Organiza...

2016-08-06 10:28:29 227

原创 hadoop 2.7.2 yarn 中文文档——架构

ResourceManager和NodeManager一起构成数据计算框架。ResourceManager是系统中所有应用程序资源决策的最高权威。NodeManager是部署在每台机器的框架的agent，它负责管理各个容器，监控机器的资源使用情况（CPU、内存、存储，网络），以及将这些信息上报给ResourceManager。每个应用程序的ApplicationMaster实际上是一个框架的中...

2016-07-20 22:43:42 295

原创 hadoop2.7.2 yarn中文文档——概述

下一代MapReduce——Yarn（MRv2）在hadoop-0.23中引入的新框架把JobTracker的两个主要功能：资源管理和job生命周期管理分别拆分成了独立的组件。新的ResourceManager管理Application所需计算资源的全局分配，每个独立应用的ApplicationMaster管理应用的调度和协调。一个应用程序可以是类似于经典的MapReduce...

2016-07-19 10:25:29 425

原创伪分布式hadoop 2.x安装部署

在个人虚拟机上搭建hadoop的运行环境的笔记。背景信息：部署版本采用了hadoop 2.6.3；操作系统为centos ，内核2.6.32-504.3.3.el6.x86_64；系统已经正确安装了jdk，本次选定版本为jdk7u79. 一、解压部署1. 下载hadoop 2.6.3 安装包 hadoop-2.6.3.tar.gz，下载页面：http://hadoop.apac...

2016-07-08 17:42:59 114

原创 hello 数据仓库

作为笔记记录下，希望对别的朋友有帮助。 Hello DW！1. WHAT 1.1 数据仓库定义数据仓库不是新事物，它的定义由数据仓库之父——Bill Inmon在1991年发表的著作《Building the Data Warehouse》中提出。本书影响非常大，属于数据仓库的经典著作。Bill Inmon也被人称之为“数据仓库之父”。 ...

2016-07-02 17:43:19 225

原创中文翻译-mesos架构

mesos 架构上面这张图展示了mesos的主要部件。mesos由master后台程序、agent后台程序、mesos framework 组成，其中agent运行在每个集群节点上，framework负责在agent上运行任务。 Master能够通过为framework产生资源邀约（resource offers）进行细粒度的资源（CPU、RAM……）调度。每个资源...

2016-07-01 17:49:57 196

原创告诉大家我所知道的Neo4j(一) ——基本概念

Neo4j是什么？首先让我们看看Neo4j自己是怎么介绍自己的。下面是Neo4j官网(www.neo4j.org)首页上的一段话。 The World's Leading Graph DatabaseNeo4j is an open-source, high-performance, enterprise-grade NOSQL graph database....

2013-04-14 09:28:58 1231

原创 apache commons-vfs访问认证

Apache Commons-VFS为我们提供了对各种文件系统的标准访问接口，除了常用的文件类型（zip，gzip，jar，本地文件系统）之外还可以直接操作多种服务器文件，如ftp，sftp等。在进行服务器文件操作时通常要指定访问的用户名和密码。接下来就以ftp服务器的文件系统的连接为例进行介绍。注：涉及到的ApacheCommo...

2012-12-10 22:30:15 351

原创 Wink与Spring集成的配置

1. 引言Apache Wink是一个Restful开发JAXB-RS规范的实现框架，和以前用过的CXF比较多，restful还是比较小巧的（小巧也是应该，毕竟wink只是restful的框架，并不支持SOAP）。Wink的部署也很简单，大概有三种方式吧。第一种是通过注册wink提供的...

2012-11-10 22:36:33 332

原创 windows环境下monetdb两个温馨小提示

monetdb在windows环境和linux环境下的使用方式还是存在很大差别的，甚至连用到的命令都不相同，这点很是奇怪。官网上的文档是以linux环境作为示例进行介绍，对windows环境的问题涉及不多。今天在看monetdb（windows环境）时遇到两个问题，在此将两个温馨提示共享一下，也许对遇到同样的问题朋友有些帮助吧。温馨提示一：启动时指定数据库名Window环境下启动monet...

2012-09-09 22:35:33 281 1

原创 MySql集群搭建笔记

1. Mysql集群介绍Mysql集群架构中主要包括管理节点和数据节点，管理节点负责整个集群结构的管理，数据的存储则由各个数据节点负责。当然，像非集群环境一样，需要提供一个mysql的节点供外部程序访问数据库。Mysql 集群的具体组织方式图-01 图-01接下来便对其中涉及的各个节点和模块进行一一介绍Management Node(管理节点)：mysql集群全局...

2012-08-25 19:30:56 96

Oracle import命令使用浅解

在上一篇oracle export命令使用浅解的文章中介绍了oracle的exp命令用来导出数据，导出的二进制文件如何使用，怎样才能导入到数据库中呢？答案就是通过oracle的imp命令。该命令的很多参数和上一篇中介绍的exp是相对应的，所以两篇可以对比着来看。1. 认识...

2011-11-19 13:47:40 876

Oracle Export命令使用浅解

Oracle的Export命令顾名思义就是导出数据库信息用的，既可以导出表结构，也可以导出数据，表空间，或者按用户导出等等。按照通常的说法，该命令主要是用于数据库的迁移或者备份的。下面就介绍一下该命令的部分参数。1. 认识exp命令执行export操作需要执行...

2011-11-19 12:08:06 1066

JAX-RS方式的RESTful Web Service开发

JAX-RS 方式的 RESTful Web Service 开发 ——基于 CXF+Spring 的实现 Web Service 目前在风格上有两大类，一个是基于 SOAP 协议，一个是完全遵循 HTTP 协议规范的 RESTful ...

2011-10-15 18:25:46 183

原创 apache安装+负载均衡配置

1. 下载apache安装包以下载httpd-2.2.19.tar.gz作为后续操作的示例下载httpd-2.2.19.tar.gz到工作主目录,例如：/install_home/2. 解压缩$>cd /install_home$>gzip –d httpd-2.2.19.tar.gz$>tar –xvf httpd-2.2.19....

2011-09-19 21:33:47 193

原创 DB2 Load数据装入学习笔记

1. 引言这段时间一直在忙一个基于DB2的项目，其中一部分工作涉及到DB2数据的导入。我们知道oracle提供了sqlloader程序完成大数据量的快速导入，DB2是和oracle最相似的数据库，所以DB2也提供了数据导入的实用程序，而且还是两个，分别是import和load，因为import的实质还是要执行sql语句完成数据的导入，所以速度相对较慢。Load是直接将格式化的页写入...

2011-02-20 22:41:16 2498

原创 Derby 学习笔记

其实本人对derby并不是特别喜欢，跟H2 Database相比，同样都是文件数据库无论是性能上还是程序简洁程度上都略逊一筹。不过现在的项目要用到derby，只有把derby下载学习一把。 1. 安装其实从本质上来说derby根本就没有真正的安装过程，下载下来直接解压就可以了。以我下载的db-der...

2010-11-10 09:45:46 274

原创 org.apache.cxf.interceptor.Fault: Could not send Message

如下异常信息：org.apache.cxf.interceptor.Fault: Could not send Message."at org.apache.cxf.interceptor.MessageSenderInterceptor.handleMessage(MessageSenderInterceptor.java:48) at org.apache.cxf.p...

2010-05-15 10:00:28 840

原创利用Apache ftp server 为你的程序提供FTP服务

先来简单介绍一下apache ftp server吧，顾名思义这个是Apache下的一个东东，个人感觉还是很新的，到现在才是1.0.X，不过还是相信Apache的品牌效应，这个东东用起来还是很方便的，通过配置文件可以对ftp服务相关参数进行灵活配置，能够支持基于配置文件和数据库的两种用户权限管理，另外还支持SSL协议和数字证书机制。下面是官网的简单介绍：The Apache FtpServ...

2010-05-07 21:47:21 330

java.lang.UnsupportedOperationException: This class does not support SAAJ 1.1

前段时间在weblogic9.2部署web service时，发生这样的异常：java.lang.UnsupportedOperationException: This class does not support SAAJ 1.1at weblogic.webservice.core.soap.SOAPPartImpl.createElementNS(SOAPPartImpl.java:...

2010-04-24 22:33:48 372

基于CXF的webservice的鉴权

参照上一篇博文基于HTTPS的webservice 的环境搭建step by step完成所需环境之后，就可以开始接下来的著名项目HelloWorld了。1. 建立一个helloworld的web项目2. 创建SEIpackage com.harvey.services;import javax.jws.WebParam;import javax.jws....

2010-04-17 21:49:58 1064

基于HTTPS的webservice 的环境搭建step by step

前段时间接触webservice，需要建立基于ssl的webservice以保证安全性，并要提供数字的支持。关于这部分以前没有搞过，经过摸索总算有些收获。现在把我的一些经验share一下。一、数字证书的相关准备关于数字证书部分我是用openssl做的，也是个开源的软件，前不久刚刚发布了1.0版本（做了11年才正式发布，由衷的佩服，老外真是有股哏劲）。网上很多文章介绍用java自带的k...

2010-04-10 14:06:15 445