我爱大海V5的专栏

我如同永不老去的时光，奔腾不停，只渴望在某一天能找到属于自己的辉煌，如同蜗牛终将爬上金字塔的塔顶，欣赏大地第一缕阳光，沐浴人间第一丝温暖。

12月 09月 08月 06月 05月 03月 02月 01月

转载 MapReduce直接连接Mysql获取数据

Mysql中数据： Sql代码 mysql> select * from lxw_tbls; +---------------------+----------------+ | TBL_NAME | TBL_TYPE | +---------------------+----------------+

2014-02-27 09:32:55 2544 2

转载深入理解Hadoop集群和网络

http://my.oschina.net/leejun2005/blog/75941摘要：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专

2014-02-26 15:18:22 1149

转载 HDFS 原理、架构与特性介绍

http://my.oschina.net/leejun2005/blog/151872本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1：当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节

2014-02-26 15:12:27 840

原创 Java动态代理与静态代理的定义与区别？？

JAVA的静态代理与动态代理比较一、概念代理模式是常用的Java 设计模式，它的特征是代理类与委托类有同样的接口，代理类主要负责为委托类预处理消息、过滤消息、把消息转发给委托类，以及事后处理消息等。代理类与委托类之间通常会存在关联关系，一个代理类的对象与一个委托类的对象关联，代理类的对象本身并不真正实现服务，而是通过调用委托类的对象的相关方法，来提供特定的服务。按照代理类的创建时期，

2014-02-26 13:38:54 835

转载反射和动态代理

之前参与一个项目，使用的技术框架是struts2+ibatis，业余好奇探索了下，于是有幸接触到java的反射和动态代理。我知道在struts2的拦截器中使用了反射和动态代理，据说很多经典的框架，比如spring、hibernate、ibatis等也都大范围使用了。这两种技术大概意思如下：反射：在程序运行的时候，动态的获取某个类中的属性和方法，并且能够调用(很多框架能自动识别你写的类，然后

2014-02-26 11:22:21 571

转载 Java 可变参数

Java1.5增加了新特性：可变参数：适用于参数个数不确定，类型确定的情况，java把可变参数当做数组处理。注意：可变参数必须位于最后一项。当可变参数个数多余一个时，必将有一个不是最后一项，所以只支持有一个可变参数。因为参数个数不定，所以当其后边还有相同类型参数时，java无法区分传入的参数属于前一个可变参数还是后边的参数，所以只能让可变参数位于最后一项。可变参数的特点：（1）、只

2014-02-26 11:08:50 515

转载从代理模式到Java反射机制

代理模式，相信大多数人都非常熟悉，常见的实现方式是通过公共接口的方式，让我们的目标类和代理类实现同一接口，在代理类中调用目标类对象的方法。具体请看我另一个博客中的文章：Java的代理模式（通过公共接口实现）。通过接口的方式，有个不好的地方，就是对每个目标类都要写一对与之相对应的接口和代理类，如果业务类很多，就是非常繁锁的工作了。而加入反射机制的代理模式，可实现一个公共的代理类，

2014-02-26 10:44:21 533

转载 java参数后面跟三个点含义详解

java参数后面跟三个点是什么意思 (2011-04-14 11:55:36)转载标签： it 分类： OutStandingIdeasAVA中类型后面跟三个点是什么来的。浏览次数：808次悬赏分：5 | 解决时间：2009-6-26 10:30 | 提问者：不完美的ID看代码中那个三点，这样做起到重载的作用，但这是什么意思？class Father{

2014-02-26 10:29:02 740

转载 java代理模式与反射机制

代理模式的作用是：为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个客户不想或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。代理模式一般涉及到的角色有：　　抽象角色：声明真实对象和代理对象的共同接口；　　代理角色：代理对象角色内部含有对真实对象的引用，从而可以操作真实对象，同时代理对象提供与真实对象相同的接口以便在任何时刻

2014-02-26 10:20:29 564

原创 Java内部类与静态内部类

定义在一个类内部的类叫内部类，包含内部类的类称为外部类。内部类可以声明public、protected、private等访问限制，可以声明为abstract的供其他内部类或外部类继承与扩展，或者声明为static、final的，也可以实现特定的接口。外部类按常规的类访问方式使用内部类，唯一的差别是外部类可以访问内部类的所有方法与属性，包括私有方法与属性。(1)创建实例 OutC

2014-02-24 16:29:09 576

如果你不需要内部类对象与其外围类对象之间有联系，那你可以将内部类声明为static。这通常称为嵌套类（nested class）。Static Nested Class是被声明为静态（static）的内部类，它可以不依赖于外部类实例被实例化。而通常的内部类需要在外部类实例化后才能实例化。想要理解static应用于内部类时的含义，你就必须记住，普通的内部类对象隐含地保存了一个引用，指向创建它的外围类

2014-02-24 16:27:32 518

转载 java面试题及答案（基础题122道，代码题19道）

JAVA相关基础知识1、面向对象的特征有哪些方面 1.抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象，二是数据抽象。2.继承：继承是一种联结类的层次模型，并且允许和鼓励类的重用，它提供了一种明确表述共性的方法。对象的一个新类可以从现有的

2014-02-24 16:25:35 647

转载 final、finally和finalize的区别是什么？

这是一道再经典不过的面试题了，我们在各个公司的面试题中几乎都能看到它的身影。final、finally和finalize虽然长得像孪生三兄弟一样，但是它们的含义和用法却是大相径庭。这一次我们就一起来回顾一下这方面的知识。final关键字我们首先来说说final。它可以用于以下四个地方：1. 定义变量，包括静态的和非静态的。2. 定义方法的参数。3. 定义方法。4.

2014-02-24 16:18:40 556

转载 Servlet生命周期与工作原理

Servlet生命周期分为三个阶段：　　1，初始化阶段调用init()方法　　2，响应客户请求阶段　　调用service()方法　　3，终止阶段　　调用destroy()方法Servlet初始化阶段：　　在下列时刻Servlet容器装载Servlet：　　　　1，Servlet容器启动时自动装载某些Servlet，实现它只需要在web.X

2014-02-24 15:44:38 558

原创 HashMap和Hashtable的区别

导读： 1 HashMap不是线程安全的 hastmap是一个接口是map接口的子接口，是将键映射到值的对象，其中键和值都是对象，并且不能包含重复键，但可以包含重复值。HashMap允许null key和null value，而hashtable不允许。2 HashTable是线程安全的一个Collection。HashM

2014-02-24 14:57:58 510

原创线程的sleep和wait的区别

Java中的多线程是一种抢占式的机制，而不是分时机制。抢占式的机制是有多个线程处于可运行状态，但是只有一个线程在运行Java中的多线程是一种抢占式的机制，而不是分时机制。抢占式的机制是有多个线程处于可运行状态，但是只有一个线程在运行。共同点： 1. 他们都是在多线程的环境下，都可以在程序的调用处阻塞指定的毫秒数，并返回。 2. wait()和sleep()都可以通

2014-02-24 13:20:45 635

转载 Java 中switch-case的注意地方

下面是switch的简单写法：switch（A）{case B;}A部分中的值必须是int型的，或者是能够自动进行饮试转换成int型的表达式。也就是说A部分可以是byte/short/char/int型的。其次要强调的是该程序中B部分的值必须是单个byte/short/char/int型的值，或者是final型的变量。但是final型的变量也是有要求的，

2014-02-24 11:09:22 775

转载 Java实现几种常见排序方法（上）

日常操作中常见的排序方法有：冒泡排序、快速排序、选择排序、插入排序、希尔排序，甚至还有基数排序、鸡尾酒排序、桶排序、鸽巢排序、归并排序等。冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。

2014-02-24 10:48:29 1173

转载 Hadoop 新 MapReduce 框架 Yarn 详解

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/?cmp=dwskl&cpb=dw&ct=dwcon&cr=cn_swb&ccy=cn简介：本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn

2014-02-10 16:14:14 673

转载下一代 Hadoop YARN 简介：相比于MRv1，YARN的优势

http://my.oschina.net/leejun2005/blog/97802最近一段时间，经常看到有人在微博上说，“很多公司暂时用不到YARN，因为一般公司的集群规模并未像Yahoo、Facebook那样达到几千台，甚至将来几万台”。这完全是一种错误的观念，在Hadoop高速发展的时代，必须更正。实际上，上述观念只看到了YARN的扩展性（Scalability

2014-02-10 15:04:12 835

转载 Hadoop YARN 基本架构和发展趋势

这是我在数盟上分享的一个topic，介绍了hadoop yarn的产生背景、基本架构、运行在yarn上的计算框架（包括MapReduce、Tez、Storm、Spark等）和发展趋势，该PPT可看做hadoop 2.o新书《Hadoop技术内幕：深入解析YARN架构设计与实现原理》的精简介绍，PPT下载地址如下：（1）Hadoop基本架构和发展趋势百度网盘下载（2）Hadoop基

2014-02-10 14:47:59 1056

转载 Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。（1）默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？答：默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光

2014-02-10 14:46:31 1760

转载 Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？第一种场景：作业的某个任务阻塞了，长时间占用资源不

2014-02-10 14:45:24 660

转载 Hadoop日志到底存在哪里？

http://dongxicheng.org/mapreduce-nextgen/hadoop-logs-placement/初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结Hadoop

2014-02-10 14:44:09 1394