- 博客(52)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 （转）【Hadoop代码笔记】Hadoop作业提交之JobTracker接收作业提交
一、概要描述在上一篇博文中主要描述了JobTracker接收作业的几个服务（或功能）模块的初始化过程。本节将介绍这些服务（或功能）是如何接收到提交的job。本来作业的初始化也可以在本节内描述，但是涉及到JobInProgress的初始化过程放在一张图上太拥挤，就分开到下一篇文章中描述。二、 流程描述 1. JobClient通过RPC的方式向JobTracker提交...
2014-03-14 15:27:55
213
原创 （转）【Hadoop代码笔记】Hadoop作业提交之JobTracker等相关功能模块初始化
一、概要描述本文重点描述在JobTracker一端接收作业、调度作业等几个模块的初始化工作。想过模块的介绍会在其他文章中比较详细的描述。受理作业提交在下一篇文章中会进行描述。为了表达的尽可能清晰一点只是摘录出影响逻辑流转的主要代码。重点强调直接的协作调用，每个内部完成的逻辑（一直可以更细的说明、有些细节可能自己也理解并不深刻:-(）在后续会描述。主要包括JobTracker...
2014-03-14 15:27:10
179
原创 （转）【hadoop代码笔记】Hadoop作业提交中EagerTaskInitializationListener的作用
在整理FairScheduler实现的task调度逻辑时，注意到EagerTaskInitializationListener类。差不多应该是job提交相关的逻辑代码中最简单清楚的一个了。todo：标红文字表示要加前向链接，待相关文字草稿提交后。一、概述继承自JobInProgressListener，实现了jobAdded，jobRemoved，jobUpdated方法。...
2014-03-14 15:26:15
143
原创 （转）【Hadoop代码笔记】通过JobClient对Jobtracker的调用详细了解Hadoop RPC
Hadoop的各个服务间，客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多，也不难理解，这里不做背景介绍。只是尝试从Jobclient向JobTracker提交作业这个最简单的客户端服务器交互的代码中，去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文，试图通过一种具体的场景来介绍，属于比较初级。其他DataNode和Namenode之间，Tasktracke...
2014-03-14 15:12:23
353
原创 （转）【Hadoop代码笔记】Hadoop作业提交之客户端作业提交
1. 概要描述仅仅描述向Hadoop提交作业的第一步，即调用Jobclient的submitJob方法，向Hadoop提交作业。2. 详细描述Jobclient使用内置的JobSubmissionProtocol 实例jobSubmitClient 和JobTracker交互，最主要是提交作业、获取作业执行信息等。在JobClient中作业提交的主要过程如下：1...
2014-03-14 15:10:29
121
原创 GREENPLUM介绍之数据库管理（七）- 配置数据库高可用性之master镜像（转）
GREENPLUM介绍之数据库管理（七）- 配置数据库高可用性之master镜像 master镜像是通过把primary master对应的standby master放置到不同的物理主机实现的。正常情况下只有primary master接受用户连接请求，standby master通过gpsyncagent进程（运行在standby master上）利用事务日志保持与prim...
2013-03-05 00:08:18
137
原创 mysql死锁的一些案例
mysql死锁的一些案例 String filename = "a.txt";RandomAccessFile rf = new RandomAccessFile(filename, "rw");FileChannel fc = rf.getChannel();//将文件大小截为0fc.truncate(0);...
2012-11-21 22:40:27
146
原创 深度克隆与浅度克隆
在java中,无法使用类直接赋值,即使用LoginloginB=loginA;这样的赋值方式,虽然编译起来是没有错的,但往往与实际用法出现叉错.本意是new一个新类出来,将LoginA的值赋给LoginB,但是,这时候,你会发现,如果你修改了LoginB的值,loginA的值也会随之而改变,这是因为什么呢? 其实这个原因很简单,因为java不同C语言类的有指针,ja...
2012-05-16 00:14:22
133
原创 HashMap原理与实践（转）
HashMap是一种十分常用的数据结构，作为一个应用开发人员，对其原理、实现的加深理解有助于更高效地进行数据存取。本文所用的jdk版本为1.5。使用HashMap 《Effective JAVA》中认为，99%的情况下，当你覆盖了equals方法后，请务必覆盖hashCode方法。默认情况下，这两者会采用Object的“原生”实现方式，即： view plaincopy ...
2012-04-12 22:37:14
110
原创 浅析Java中的深拷贝与浅拷贝 （转）
首先我们看看浅拷贝和深拷贝的定义 浅拷贝：只复制一个对象，对象内部存在的指向其他对象数组或者引用则不复制 深拷贝：对象，对象内部的引用均复制 为了更好的理解它们的区别我们假设有一个对象A，它包含有2对象对象A1和对象A2 对象A进行浅拷贝后，得到对象B但是对象A1和A2并没有被拷贝 对象A进行深拷贝，得到对象B的同...
2012-04-12 22:24:18
83
原创 Semisynch: Last_IO_Error: Fatal error: Failed to run 'after_queue_event' hook
Description:When executing a replication workload with semisynch replication turned off and periodicSTOP SLAVE IO_THREAD thread, START SLAVE IO_THREAD (in order to simulate networkfailures), the...
2012-02-21 23:26:09
737
原创 数据同步时过滤掉临时表(转)
找到了一个解决方案（待验证） 因为问题没有重现此方案是想通过过滤掉临时表来解决复制临时表报错的问题在mysql my.ini中 [mysqld] 下配参数 replicate-wild-ignore-table=数据库名.temp%------------问题：自从使用数据库同步复制技术以来同步的异常中断就一直没有有效解决，销售单中的“商品展示”存储过程P_SPXX_GYC...
2011-12-14 23:00:55
236
原创 中文转换成ASCII码并用十六进制表示 （转）
中文转换成ASCII码并用十六进制表示 2010-08-24 14:50:20| 分类： 默认分类 |字号 订阅由于我自己的毕业设计的需要，我需要在把用户输入的一个文本框中文字符提取出来，转换成像浏览器里地址栏里的ASCII码的十六进制的形式，在我完成之后，我顺便在网上找了一篇文章，是关于char和byte的转换，我觉得看看也许对以后碰到中文乱码有帮助，并复制下来了，我完成的代码如...
2011-11-22 00:23:04
1994
原创 OSGI错误分析解决
1、java.lang.LinkageError: loader constraints violated when linking org/apache/axis/types/URI class类链接错误。该错误及其所有子类指示某个类依赖于另外一些类，在该类编译之后，被依赖的类改变了其类定义而没有重新编译所有的类，进而引发错误的情况。在不同bundle里存在相同的jar（包括不同的版本）...
2011-10-19 23:15:51
1083
原创 整理下Mysql集群的的一些资料
有些需要参照别人，一起研究啊，前几天跟一个大牛聊天，说是使用了200多台的多主MYSQL集群，羡慕，嘿嘿。(多主一从，一主多从，多主多从，一主一从)MYsqL集群想做个多主或多从的专题研究，总结在这里。 二台Mysql服务器，他们的IP地址分别为：A：192.168.0.97B：192.168.0.98数据库都是 test_3306首先我给两台服务器的my....
2011-09-06 10:57:32
91
原创 多主一从的一种简单方案
在实际情况中，可能会通过分库来解决单台服务器压力问题，但是这样会给统计带来很大的麻烦，对于统计业务，最好的就是把所有数据集中到一块，然后做统计，对于这样的应用，我想可能就需要多台主对应一台slave了。对于mysql的来说，他并不支持多主一从，通过网上查询，发现http://denniswwh.itpub.net/post/15174/483254这方法【大型的系统，数据库往往会根据业...
2011-09-06 10:56:46
182
原创 MySQL第三方复制工具 --- Tungsten-Replicator
一、概述1、简介Tungsten-Replicator 是第三方的MySQL数据复制引擎，是个商业产品，同时提供开源版本。类似于MySQL 自身的replication，基于日志复制模式，不同的是 Tungsten 通过Extractor控件读取mysql主库的binlog 解析成自己的日志格式--THL（Transaction History Log）, 在从库上通过Applier控件写...
2011-09-06 10:56:03
295
原创 MySQL Federated引擎实现多主一备
偶尔我们需要这样做。在一台主机上如果复制多个主库，可以很简单：在备库主机上启动多个MySQL实例（mysqld_muilt），每个实例使用一个端口，复制多台主库就可以了。但是如果希望复制过来的数据都在同一个实例中，事情就复杂了。1. 问题以及开源社区的尝试需求：多个主库都复制到一个备库，复制过来的数据都在一个实例中，这样实现对应用层的透明。目前，MySQL本身不提供这样的功能(...
2011-09-06 10:55:05
181
原创 A review of Tungsten Replicator: Part 1 – Installation
THE WORLD DISCUSSES #PYTHIAN ON TWITTER. HAVE A QUESTION? USE OUR HASHTAG AND ASK AWAY.A review of Tungsten Replicator: Part 1 – InstallationPosted by Ben Mildren on Sep 1, 2011 I’ve been followin...
2011-09-06 10:53:46
115
原创 负载均衡
1.DNS轮循 DNS轮循是最简单有效的负载均衡，即一个域名下映射多个IP。2.硬件负载均衡 我司使用最多的如F5，其它还有Cisco,Alteon,Foundry等硬件。3.软件负载均衡 3.1基于4层，修改Linux内核的TCP/IP数据报文来实现负载均衡。 它可以根据源、目的地址与端口来进行负载均衡。负...
2011-07-29 23:59:08
123
原创 snmp
Hello Wise and Generous Monks, I'm trying to write a Perl script that uses Net::SNMP to query RFC 2674 enabled Ethernet switches. One of the "Textual Conventions" defined in the MIB is a "PortList" ...
2011-02-19 00:52:35
144
原创 Octet String
我是获取的Octet String用String输出，输出的是一连串的2个16进制数 空格。；然后想对输出结果操作，得到我想要的值。 解决方案：private static string exchange(string input) { int number = (input.Length 1) / 3; string strReturn = ""; ...
2011-02-18 23:11:39
9224
2
原创 -- MIB for IEEE 802.1Q Devices
Q-BRIDGE-MIB DEFINITIONS ::= BEGIN-- --------------------------------------------------------------- MIB for IEEE 802.1Q Devices-- -------------------------------------------------------------...
2011-02-18 22:31:32
261
原创 epon
摘要:通过分析运营商ip城域网的多业务需求，结合城域网的网络结构，区分家庭网关和企业网关等不同的终端类型，阐述了在epon接入模式下的多业务接入、区分和服务质量保障方案。 1 引言 根据中国互联网络信息中心(cnnic)发布的《第21次中国互联网络发展状况统计报告》，截止到2007年底，中国网民总人数达到2.1亿人，而使用率最高的网络应用依次是：网络音乐(86.6%)、即时通信(8...
2011-02-11 00:19:52
356
原创 宽带接入与EPON技术
宽带接入与EPON技术 时代的精彩离不开Internet，Internet的精彩离不开宽带。目前的宽带接入方式综合来看，技术上比较成熟的主流技术为以下几种：一，基于电话网用户线的，以ADSL为代表的xDSL（数字用户线）技术；二，基于有线电视网的HFC（混合光纤同轴网）宽带接入；三，快速以太网；四，固定无线接入方式LMDS（本地多点分配系统）；五，光纤接入。目前这几种接入技术在我国电...
2011-02-10 22:10:31
603
原创 snmp命令
Snmputil 命令Snmputil是一个命令行下的软件，使用语法如下： usage: snmputil get|getnext|walk] agent community oid [oid ...] snmputil trap 其中agent表示代理进程的IP地址，community表示团体名，oid表示MIB对象ID。 举例说明： 1）查看本...
2011-01-20 23:57:54
393
原创 MIB
http://topic.csdn.net/u/20081014/16/000b9d08-63d2-49c8-a115-c6b85c52630a.htmlMIB库下载网站http://www.oidview.com/mibs/77/LanMgr-Mib-II-MIB.htmlMIB浏览器http://avery-leo.iteye.com/blog/202824...
2011-01-19 22:35:55
1605
原创 net-snmp中载入第三方mib库
Management Information Base（管理信息库，MIB）是一组对象，定义可对某个设备提出的查询。我们所 用的snmp监控主机如果要轮询一个支持snmp的设备的某项数据，它必须发出被查询设备所能理解的查询命令，这个就需要监控主机载入被查询设备对应的 MIB，这个MIB将通知snmp监控主机有关由 MIB 模块化的数据的布局和组成。Linux 中所使用的net-sn...
2011-01-19 20:33:55
1561
原创 snmp
snmp snmp snmphttp://avery-leo.iteye.com/category/34162http://joshuaxiao.iteye.com/blog/605244有关Snmp4j编程最好也最详细的资料：API文档和源代码。关于使用Snmp4j编写Snmp程序的例子，多线程的例子可以参看源代码中：org.snmp4j.test包下的MultiThreaded...
2011-01-04 23:43:35
74
原创 JSON(
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写，同时也易于机器解析和生成。它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScr...
2010-12-17 22:55:50
64
原创 httpclient组件使用经验
httpclient组件使用经验 --------------------- 文件上传： --------------------- 1.httpclient也可以使用putmethod方法 2.通过 putmethod.addRequestHeader(key,vaule)设置请求头部。也可设置一自定义的值，供服务端读出。 3.要实现文件上传不出现乱码问题，有以下几个...
2010-12-17 22:38:16
109
原创 HttpClient
HttpClientJakarta Commons HttpClient 学习笔记(1)seagull 发表于 2006-11-14 9:13:00 虽然用telnet这样的程序都可把页面取回来，但是在与web服务器的交互中，如果涉及或https或ssl等内容，一般功能相对完备的http客户端还是非常必要的。IE或NetScape等浏览器确实不错，可是如果为实现持续互动而在程序调用浏...
2010-12-17 22:36:44
57
原创 HttpClient应用 与 Servlet 处理文件上传
HttpClient应用 与 Servlet 处理文件上传1、HttpClient模拟客户端提交，上传文件，提交表单2、使用servlet处理上传的文件现在HttpClient 版本到4 了，我现在用的是commons-httpclient-3.0.1，4和3两个版本的用法有较大的差别，另外，HttpClient依赖一些commos包，象 commons-lo...
2010-12-17 22:18:22
85
原创 HttpClient文件上传代码
摘自今天写的一段代码： public static int uploadFiles(String fullUrl,Map files,Map params,Map cookies,String encoding) throws IOException { HttpClient client = new HttpClient(); try { ...
2010-12-17 22:13:37
80
（转）使用 XStream实现JavaBean 与 XML/JSON 之间相互转换
使用 XStream实现JavaBean 与 XML/JSON 之间相互转换 核心提示：XML 和 JSON 是当今常用的两种数据描述与传输的格式，特别是涉及到 JS 时使用 JSON 颇为频繁。自然，在 Java 的世界里少不了完成 JavaBean 与这两种格式相互转换的组件，那就是 XStream 和 JSON-lib。这里我简单记下 XStream 的用法。 其实相类似的工具早已 ...
2010-12-16 23:34:43
81
原创 s3 rest
Back in the ‘burgh at Carnegie Mellon’s radio station WRCT, a really awesome poster with a baby crawling to its death in a bucket reminded you of how dangerous buckets can really be. Especially when D...
2010-12-14 23:05:30
128
原创 （转）HttpClient基础
1.1 执行请求HttpClient的最重要的功能是执行HTTP方法。一个HTTP方法的执行涉及到一个或多个HTTP请求或HTTP响应的交流，HttpClient通常是在内部处理的。用户将提供一个执行请求对象，HttpClient发送请求到目标服务器返回一个相应的响应对象，如果执行失败则抛出一个异常。所以，HttpClient API的主要切入点是HttpClient的接口，它定义了...
2010-12-12 22:24:49
75
原创 Amazon Simple Store Service (S3)
IntroductionAmazon Simple Store Service (S3) is a service from Amazon that allows you to store files into reliable remote storage for a very competitive price; it is becoming very popular. S3 is use...
2010-12-08 22:06:26
148
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人