- 博客(32)
- 资源 (15)
- 问答 (1)
- 收藏
- 关注
原创 smiley-http-proxy-servlet 反向代理时丢失cookie的问题
在使用smiley-http-proxy-servlet实现反向代理时,发现在进行转发时原始request中的cookie信息丢失了。翻看了其源代码后发现在ProxyServlet进行http转发时是有copy原始request中的header(包括cookie)的操作的,如下: /** Copy request headers from the servlet client to the...
2017-02-15 22:20:27
1831
原创 hadoop 2.7.2 yarn中文文档——NodeManager 重启
介绍本文档给出NodeManager(NM) restart的概览,该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看,NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时,它首先为各个子系统加载state信息,之后让这些子系统利用加载的state重新执行恢复。...
2016-11-21 11:25:11
1516
原创 hadoop 2.7.2 yarn中文文档——YARN 命令
概述YARN命令通过bin/yarn 脚本调用.不传入任何参数运行该脚本会打印所有命令的描述。Usage: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]YARN有一个option解析框架用来解析通用options和运行class。COMM...
2016-11-18 15:33:01
621
原创 hadoop 2.7.2 yarn中文文档——编写 YARN Applications
目标本文在较高层次介绍实现YARN的application的方式。 概念和流程通俗讲就是一个application提交客户端提交一个application到YARN Resource Manager(RM)。通过建立YarnClient对象可以完成这个工作。YarnClient启动之后,client之后可以建立application context,准备包含ApplicationM...
2016-11-11 22:58:46
434
原创 hadoop 2.7.2 yarn中文文档——The YARN Timeline Server
概述介绍在YARN中通过Timeline Server用一种通用的形式解决对application的当前和历史信息的存储和检索。它有两个职责:持久化Application特定信息Application或者framework的完整特定信息的收集和检索。例如,Hadoop Mapreduce framework会包含诸如map task数目,reduce task数目,counte...
2016-10-24 22:59:27
1653
原创 hadoop 2.7.2 yarn中文文档——Web Application Proxy
Web Application Proxy是YARN的一部分。默认情况下它会作为Resource Manager(RM)的一部分运行,但是可以配置为独立运行的模式。Proxy的意义是减少通过YARN的网络攻击的可能性。在YARN中,Application Master(AM)有责任提供Web UI并将该链接发送至RM。这带来了一些潜在的问题——RM作为一个可信任的用户运行,人们信任正在访问...
2016-09-28 15:41:04
619
原创 hadoop 2.7.2 yarn中文文档——YARN Node Labels
概述Node label是将相似特点的节点进行分组的一种途径,application可以指定在哪里运行。现在我们只支持node partition:一个node只能有一个node partition, 所以一个集群通过node partition被分为多个互斥的子集群。默认的,node都属于DEFAULT分区(partition="")。用户需要配置每个partition可以使用...
2016-09-23 13:38:58
736
原创 hadoop 2.7.2 yarn中文文档——ResourceManager High Availability
介绍本指南提供YARN的ResourceManager 的HA概览,以及如何配置和使用这些特性。ResourceManager(RM)负责跟踪集群中的资源,调度application(如MapReduce job)。hadoop 2.4之前,ResourceManager在YARN集群中存在单点故障的隐患。HA特性通过主备ResourceManager的方案解决单点故障问题。架构 ...
2016-09-13 10:52:06
400
原创 hadoop 2.7.2 yarn中文文档——ResourceManger Restart
综述ResourceManager是管理资源和调度YARN中运行的application的中心机构。因此,它在Apache YARN 集群中存在潜在的单点故障。本文档给出有关ResourceManager Restart特性的概述,该特性强化ResourceManager可以跨越重启操作继续运转,另外让ResourceManager的停机时间对终端用户不可见。ResourceManag...
2016-09-08 13:46:18
331
原创 hadoop 2.7.2 yarn中文文档——Fair Scheduler
目标本文档描述FairScheduler,一个允许YARN应用程序公平共享集群资源的调度插件。 概述公平调度是一个分配资源给所有application的方法,平均来看,是随着时间的进展平等分享资源的。下一代Hadoop可调度多资源类型。默认的,FairScheduler只基于内存的公平调度策略。它可以配置为包括内存和cpu的调度,采用Ghodsi等开发的主资...
2016-09-01 22:15:37
322
原创 hadoop 2.7.2 yarn中文文档—— Capacity Scheduler
目标本文档将描述CapacityScheduler,它作为一个可插拔的hadoop调度器,允许多租户安全的共享一个大的集群,在资源分配有限的条件下适时的为应用程序分配资源。 综述CapacityScheduler被设计作为一个共享的、多租户集群用来运行hadoop应用,在操作友好的方式下最大化集群吞吐量和利用率 。传统的,每个组织(Organiza...
2016-08-06 10:28:29
235
原创 hadoop 2.7.2 yarn 中文文档——架构
ResourceManager和NodeManager一起构成数据计算框架。ResourceManager是系统中所有应用程序资源决策的最高权威。NodeManager是部署在每台机器的框架的agent,它负责管理各个容器,监控机器的资源使用情况(CPU、内存、存储,网络),以及将这些信息上报给ResourceManager。每个应用程序的ApplicationMaster实际上是一个框架的中...
2016-07-20 22:43:42
299
原创 hadoop2.7.2 yarn中文文档——概述
下一代MapReduce——Yarn(MRv2) 在hadoop-0.23中引入的新框架把JobTracker的两个主要功能:资源管理和job生命周期管理分别拆分成了独立的组件。新的ResourceManager管理Application所需计算资源的全局分配,每个独立应用的ApplicationMaster管理应用的调度和协调。一个应用程序可以是类似于经典的MapReduce...
2016-07-19 10:25:29
443
原创 伪分布式hadoop 2.x安装部署
在个人虚拟机上搭建hadoop的运行环境的笔记。背景信息:部署版本采用了hadoop 2.6.3;操作系统为centos ,内核2.6.32-504.3.3.el6.x86_64;系统已经正确安装了jdk,本次选定版本为jdk7u79. 一、解压部署1. 下载hadoop 2.6.3 安装包 hadoop-2.6.3.tar.gz,下载页面:http://hadoop.apac...
2016-07-08 17:42:59
131
原创 hello 数据仓库
作为笔记记录下,希望对别的朋友有帮助。 Hello DW!1. WHAT 1.1 数据仓库定义 数据仓库不是新事物,它的定义由数据仓库之父——Bill Inmon在1991年发表的著作《Building the Data Warehouse》中提出。本书影响非常大,属于数据仓库的经典著作。Bill Inmon也被人称之为“数据仓库之父”。 ...
2016-07-02 17:43:19
232
原创 中文翻译-mesos架构
mesos 架构 上面这张图展示了mesos的主要部件。mesos由master后台程序、agent后台程序、mesos framework 组成,其中agent运行在每个集群节点上,framework负责在agent上运行任务。 Master能够通过为framework产生资源邀约(resource offers)进行细粒度的资源(CPU、RAM……)调度。每个资源...
2016-07-01 17:49:57
199
原创 告诉大家我所知道的Neo4j(一) ——基本概念
Neo4j是什么?首先让我们看看Neo4j自己是怎么介绍自己的。下面是Neo4j官网(www.neo4j.org)首页上的一段话。 The World's Leading Graph DatabaseNeo4j is an open-source, high-performance, enterprise-grade NOSQL graph database....
2013-04-14 09:28:58
1251
原创 apache commons-vfs访问认证
Apache Commons-VFS为我们提供了对各种文件系统的标准访问接口,除了常用的文件类型(zip,gzip,jar,本地文件系统)之外还可以直接操作多种服务器文件,如ftp,sftp等。在进行服务器文件操作时通常要指定访问的用户名和密码。接下来就以ftp服务器的文件系统的连接为例进行介绍。注:涉及到的ApacheCommo...
2012-12-10 22:30:15
381
原创 Wink与Spring集成的配置
1. 引言Apache Wink是一个Restful开发JAXB-RS规范的实现框架,和以前用过的CXF比较多,restful还是比较小巧的(小巧也是应该,毕竟wink只是restful的框架,并不支持SOAP)。Wink的部署也很简单,大概有三种方式吧。第一种是通过注册wink提供的...
2012-11-10 22:36:33
355
原创 windows环境下monetdb两个温馨小提示
monetdb在windows环境和linux环境下的使用方式还是存在很大差别的,甚至连用到的命令都不相同,这点很是奇怪。官网上的文档是以linux环境作为示例进行介绍,对windows环境的问题涉及不多。今天在看monetdb(windows环境)时遇到两个问题,在此将两个温馨提示共享一下,也许对遇到同样的问题朋友有些帮助吧。温馨提示一:启动时指定数据库名Window环境下启动monet...
2012-09-09 22:35:33
300
1
原创 MySql集群搭建笔记
1. Mysql集群介绍Mysql集群架构中主要包括管理节点和数据节点,管理节点负责整个集群结构的管理,数据的存储则由各个数据节点负责。当然,像非集群环境一样,需要提供一个mysql的节点供外部程序访问数据库。Mysql 集群的具体组织方式图-01 图-01接下来便对其中涉及的各个节点和模块进行一一介绍Management Node(管理节点):mysql集群全局...
2012-08-25 19:30:56
103
Oracle import命令使用浅解
在上一篇oracle export命令使用浅解的文章中介绍了oracle的exp命令用来导出数据,导出的二进制文件如何使用,怎样才能导入到数据库中呢?答案就是通过oracle的imp命令。该命令的很多参数和上一篇中介绍的exp是相对应的,所以两篇可以对比着来看。1. 认识...
2011-11-19 13:47:40
888
Oracle Export命令使用浅解
Oracle的Export命令顾名思义就是导出数据库信息用的,既可以导出表结构,也可以导出数据, 表空间,或者按用户导出等等。按照通常的说法,该命令主要是用于数据库的迁移或者备份的。下面就介绍一下该命令的部分参数。1. 认识exp命令执行export操作需要执行...
2011-11-19 12:08:06
1101
JAX-RS方式的RESTful Web Service开发
JAX-RS 方式的 RESTful Web Service 开发 ——基于 CXF+Spring 的实现 Web Service 目前在风格上有两大类,一个是基于 SOAP 协议,一个是完全遵循 HTTP 协议规范的 RESTful ...
2011-10-15 18:25:46
184
原创 apache安装+负载均衡配置
1. 下载apache安装包以下载httpd-2.2.19.tar.gz作为后续操作的示例下载httpd-2.2.19.tar.gz到工作主目录,例如:/install_home/2. 解压缩$>cd /install_home$>gzip –d httpd-2.2.19.tar.gz$>tar –xvf httpd-2.2.19....
2011-09-19 21:33:47
209
原创 DB2 Load数据装入学习笔记
1. 引言 这段时间一直在忙一个基于DB2的项目,其中一部分工作涉及到DB2数据的导入。我们知道oracle提供了sqlloader程序完成大数据量的快速导入,DB2是和oracle最相似的数据库,所以DB2也提供了数据导入的实用程序,而且还是两个,分别是import和load,因为import的实质还是要执行sql语句完成数据的导入,所以速度相对较慢。Load是直接将格式化的页写入...
2011-02-20 22:41:16
2753
原创 Derby 学习笔记
其实本人对derby并不是特别喜欢,跟H2 Database相比,同样都是文件数据库无论是性能上还是程序简洁程度上都略逊一筹。不过现在的项目要用到derby,只有把derby下载学习一把。 1. 安装其实从本质上来说derby根本就没有真正的安装过程,下载下来直接解压就可以了。以我下载的db-der...
2010-11-10 09:45:46
283
原创 org.apache.cxf.interceptor.Fault: Could not send Message
如下异常信息:org.apache.cxf.interceptor.Fault: Could not send Message."at org.apache.cxf.interceptor.MessageSenderInterceptor.handleMessage(MessageSenderInterceptor.java:48) at org.apache.cxf.p...
2010-05-15 10:00:28
862
原创 利用Apache ftp server 为你的程序提供FTP服务
先来简单介绍一下apache ftp server吧,顾名思义这个是Apache下的一个东东,个人感觉还是很新的,到现在才是1.0.X,不过还是相信Apache的品牌效应,这个东东用起来还是很方便的,通过配置文件可以对ftp服务相关参数进行灵活配置,能够支持基于配置文件和数据库的两种用户权限管理,另外还支持SSL协议和数字证书机制。下面是官网的简单介绍:The Apache FtpServ...
2010-05-07 21:47:21
350
java.lang.UnsupportedOperationException: This class does not support SAAJ 1.1
前段时间在weblogic9.2部署web service时,发生这样的异常:java.lang.UnsupportedOperationException: This class does not support SAAJ 1.1at weblogic.webservice.core.soap.SOAPPartImpl.createElementNS(SOAPPartImpl.java:...
2010-04-24 22:33:48
385
基于CXF的webservice的鉴权
参照上一篇博文 基于HTTPS的webservice 的环境搭建step by step完成所需环境之后,就可以开始接下来的著名项目HelloWorld了。1. 建立一个helloworld的web项目2. 创建SEIpackage com.harvey.services;import javax.jws.WebParam;import javax.jws....
2010-04-17 21:49:58
1086
基于HTTPS的webservice 的环境搭建step by step
前段时间接触webservice,需要建立基于ssl的webservice以保证安全性,并要提供数字的支持。关于这部分以前没有搞过,经过摸索总算有些收获。现在把我的一些经验share一下。一、 数字证书的相关准备关于数字证书部分我是用openssl做的,也是个开源的软件,前不久刚刚发布了1.0版本(做了11年才正式发布,由衷的佩服,老外真是有股哏劲)。网上很多文章介绍用java自带的k...
2010-04-10 14:06:15
468
请教关于Web Service返回值多态情况的处理
2010-12-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人