- 博客(28)
- 收藏
- 关注
RSS订阅转载 分析Java的String对象
对于Java中的String对象，个人觉得每个程序员都会思考过、学习过、研究过这个对象，因为他是面试官们的最爱。如：String s = new String("abc");，创建了几个对象。这种问题反复出现在程序员面试的过程中。下面我们对应着一些代码片段以及其的执行结果，来深入分析Java的String对象。 首先我们要注意的是String对象的处理在JDK6和JDK7中的处...
2015-01-17 21:15:00
173
转载 Java 6 JVM参数选项大全（中文版）
作者：Ken WuEmail: ken.wug@gmail.com转载本文档请注明原文链接http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options编写的译文。主要介绍JVM中的非稳态选项及其使用说明...
2014-12-16 12:52:00
158
转载 算法系列：PageRank算法的MapReduce实现
首先简单介绍PageRank的算法公式：(图片来源：http://en.wikipedia.org/wiki/Page_rank)PR(A)即A的PageRank值；d为阻尼因子，一般设为0.85；L(B)即B网站所有的出链数量（即B网站内的所有链接的数量）。所以公式的意义是：A的PageRank值=（1-d）+d*（链接到A的所有网站的PR值/该网站的所有出链数量之...
2014-03-01 17:28:00
274
转载 FairScheduler的任务调度机制——assignTasks（续）
上一篇文章浅析了FairScheduler的assignTasks()方法，介绍了FairScheduler任务调度的原理。略过了最后一步通过JobScheduler获取Task时调用JobInProgress的五个方法：obtainNewNodeLocalMapTask()，obtainNewNodeOrRackLocalMapTask()，obtainNewMapTask()...
2013-12-15 20:49:00
167
转载 FairScheduler的任务调度机制——assignTasks
首先需要了解FairScheduler是如何在各个Pool之间分配资源，以及每个Pool如何在Job之间分配资源的。FairScheduler的分配资源发生在update()方法中，而该方法由一个线程UpdateThread每隔updateInterval（由mapred.fairscheduler.update.interval参数决定，默认是500ms）就调用一次，以保证资源...
2013-12-11 00:33:00
209
转载 Hadoop1.2.1源码解析系列：JT与TT之间的心跳通信机制——命令篇
前两篇文章简单介绍了hadoop心跳机制的两个重要角色：JT和TT，虽然不是太详细，但是大纸业说清楚了一些事，在JT篇的最后对于JT返回TT的心跳响应中的一些命令一笔带过，这篇文章将重要介绍这些命令：ReinitTrackerAction，KillTaskAction，KillJobAction，CommitTaskAction，LaunchTaskAction。每个命令都对应着...
2013-12-07 22:17:00
175
转载 Hadoop1.2.1源码解析系列：JT与TT之间的心跳通信机制——JT篇
上一篇浅析了Hadoop心跳机制的TT（TaskTracker）方面，这一篇浅析下JT（JobTracker）方面。我们知道心跳是TT通过RPC请求调用JT的heartbeat()方法的，TT在调用JT的heartbeat回收集自身的状态信息封装到TaskTrackerStatus对象中，传递给JT。下面看看JT如何处理来自TT的心跳。1.JobTracker.heart...
2013-12-05 00:36:00
162
转载 Hadoop1.2.1源码解析系列：JT与TT之间的心跳通信机制——TT篇
在Hadoop中JT（JobTracker）与TT（TaskTracker）之间的通信是通过心跳机制完成的。JT实现InterTrackerProtocol协议，该协议定义了JT与TT之间的通信机制——心跳。心跳机制实际上就是一个RPC请求，JT作为Server，而TT作为Client，TT通过RPC调用JT的heartbeat方法，将TT自身的一些状态信息发送给JT，同时JT通...
2013-12-03 23:37:00
148
转载 算法系列：矩阵相乘算法的MapReduce实现
看到一篇文章，列出了几个使用MapReduce完成的算法（附有实现案例），但是还是想自己实现下，所以自己写了一个，后来看了下案例，不是太一样，但是我实现了，不管效果如何，或者好不好看，总之我实现了。这里就跟大家分享下，同时也希望能得到一个建议。首先介绍下我的实现思想：1.两个矩阵相乘，我们假设为a[i][j]，b[x][y]，若a*b则i==y，即c[n][n]=a[i]...
2013-11-28 23:42:00
469
转载 Hadoop1.2.1源码解析系列：JobTracker（一）——JobTracker初始化
JobTracker是hadoop的mapreduce框架中最重要的一个类，这个类负责整个集群的作业控制和资源管理。JobTracker的启动是在用户启动hadoop集群时启动的，也就是在hadoop启动完之后使用jps命令看到的jobTracker进程，启动代码是在start-mapred.sh中。启动JobTracker是通过调用JobTracker的main()方法启动...
2013-11-24 23:52:00
150
转载 FairScheduler job初始化过程源码浅析
上一篇文章说到了jobTracker中的submitJob()方法，这个方法最终会调用listener.jobAdded(job)，将Job注册到TaskScheduler中，由其进行调度。今天接着研究。hadoop中默认的TaskScheduler是JobQueueTaskScheduler，采用的是FIFO(先进先出)原则进行调度，还有FiarScheduler和Capaci...
2013-11-21 22:31:00
130
转载 Hadoop JobTracker提交job源码浅析
上一篇文章说到jobClient提交job的过程，这篇文章是接着上一篇文章继续写的。上一篇说到jobSubmitClient.submitJob( jobId, submitJobDir.toString(), jobCopy.getCredentials())这里，这里就是jobTracker进行job的提交过程，还有一个JobSubmissionProtocol的实现是L...
2013-11-20 00:29:00
110
转载 hadoop job初始化源码浅析
hadoop的job提交过程相对来说还是有点复杂的，所以在学习源码的时候会显得有些乱，时常看了后面忘了前面，所以在看了多遍之后决定用文章的方式记录下来，一边自己下次再看的时候能够清晰些，同时也为初次接触这方面源码的同学提供一些帮助吧。希望自己可以写的足够详细。(本文针对hadoop1.2.1)1.job.waitForCompletion：一般情况下我们提交一个job都是通过...
2013-11-18 23:59:00
100
转载 Redis2.6安装报错
先确保Linux已安装gcczmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"make[1]: *** [adlist.o] Error...
2013-11-01 16:30:00
99
转载 windows环境下使用MyEclipse调用hadoop集群
之前看网上说要想在windows下访问hadoop集群需要安装cygwin，但是我嫌安装这东西麻烦，所以没弄，但是今天根据linux下使用hadoop插件的eclipse建的一个项目来在Myeclipse下建了一个同样的项目，引入同样的jar包，然后执行调用Hadoop的程序竟然可以执行，大喜。不知道是我一开始理解错了，还是什么原因，总之现在我的windows不用安装cygwin...
2013-09-22 23:03:00
101
转载 RedHat安装Hadoop0.20.2小集群
在安装Hadoop之前先确保每台机器都装有jdk，版本什么路径什么的最好一样，然后配置好master对其他slavers的SSH无密码访问<可以参考：http://blog.csdn.net/hqshaozhu/article/details/11788025>确保上述条件满足之后就可以开始安装Hadoop了首先我的版本信息： LinuxOS：Re...
2013-09-17 23:37:00
117
转载 Linux(RedHat6.0)下配置SSH无密码访问
网上资料很多，基本都是一样。首先确保你已安装ssh，RedHat自带有openSSH，所以不需要考虑。第一步：使用 #ssh-keygen -t dsa ，使用这个命令之后会提示是否输入密码，这里不输入密码，一路enter下去就可以了，最后会在用户目录下的隐藏文件夹.ssh下生成id.dsa和id_dsa.pub两个文件，分别为私钥和公钥。也可以直接使用#ssh ...
2013-09-17 22:43:00
123
转载 Oracle cursor也可以传入参数
Oracle cursor需要传入参数的时候，首先得在定义游标的时候设置参数，例如curProduct(n_tem_game_id number)这时在打开游标的时候就可以传入对应的游标了，例如：open curProduct(1);转载于:https://www.cnblogs.com/Vicky01200059/archive/2013/03/20/...
2013-03-20 15:09:00
690
转载 Spring StoredProcedure调用Oracle函数各种异常解决方法
其实也不是各种异常解决方法，只是出现了太多的异常我实在不知道有哪些，下面列举一下吧：1.PLS-00306: wrong number or types of arguments in call to 'QUERYUSER'ORA-06550: line 1, column 7:PL/SQL: Statement ignored原因：这个问题是少参数，或者类型不对...
2013-03-07 13:17:00
173
转载 Spring RMI使用心得
Spring RMI一开始看网上的资料感觉很简单，但一次一次的失败告诉我，那不简单，嘻嘻（当然实现之后还是蛮简单的）。首先我是使用SpringRMI实现两个Web系统之间的通信（其实也就是一个系统调用另一个系统的某个方法），这两个Web系统是部署在一个服务器上的，而且我将rmi的Spring配置文件同我原来的系统的配置文件分开，单独写了一个配置文件（两个系统都是的），这样在服...
2012-07-17 17:00:00
128
转载 SQLGrammarException错误
页面报错：org.springframework.dao.InvalidDataAccessResourceUsageException: could not insert: [org.innovation.model.trade.Item]; nested exception is org.hibernate.exception.SQLGrammarException: cou...
2012-07-13 19:21:00
316
转载 Java内部类
Java内部类一、内部类概念一个类定义在另一个类的内部，这个类就叫做内部类。代码示例：public class TestClass { /*内部类，可以用private/public/protected修饰*/ private class InnerClass{ } public static ...
2012-05-26 23:59:00
101
转载 Abstract Class与Interface的区别
接口和抽象类的区别abstract class和interface是Java语言中对于抽象类定义进行支持的两种机制，正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。abstractclass和interface之间在对于抽象类定义的支持方面具有很大的相似性，甚至可以相互替换，因此很多开发者在进行抽象类定义时对于abstract class和interface的选...
2012-05-24 20:19:00
115
转载 Java类加载器
Java类加载器一、类加载器作用当JVM开始运作时需要使用当某个类时，就需要将对应类的字段吗加载到内存中，而类加载器正式负责加载这些类的工具。另外若果多次重复使用一个类的字节码时加载器不会多次加载，而是使用内存中的字节码。二、主要的类加载器我们首先看一下JVM预定义的三种类型类加载器，当一个 JVM 启动的时候，Java 缺省开始使用如...
2012-05-20 22:15:00
104
转载 Java类之间的关联关系
Java类之间的关联关系UML类图中的关系分为四种：泛化、依赖、关联、实现；关联关系又可以细化为聚合和组合。一、泛化（Generalization）泛化是父类和子类之间的关系，子类继承父类的所有结构和行为。在子类中可以增加新的结构和行为，也可以覆写父类的行为。一般用一个带空心箭头的实线表示泛化关系，UML图如下：泛化对应Java中继承关系，即子类继...
2012-05-19 20:43:00
911
转载 Session的理解
Session的理解一、 个人误区一开始很傻的把Session的会话与用户的登录与退出弄混淆了，实在很傻！Session的会话指的是当你打开浏览器，请求一个应用服务器时开始，直到与这个应用服务器断开连接（如关闭浏览器等）为止的一系列动作。这与用户登录完全没有关系，被弄混淆个人觉得是Session最普遍的用法就是用来控制用户的登录/退出事件的。二、 Sess...
2012-05-19 00:13:00
133
转载 Struts2整合Spring方法及原理
一、Struts 2框架整合Spring步骤1、复制文件。复制struts2-spring-plugin-x-x-x.jar和spring.jar到WEB-INF/lib目录下。其中的x对应了Spring的版本号。还需要复制commons-logging.jar文件到WEB-INF/lib目录下。2、配置struts.objectFactory属性值。在stru...
2012-05-13 14:44:00
180
转载 Java多线程和同步的理解
Java多线程和同步的理解一、 进程与线程在谈论线程之前，我们先来看看什么叫进程，以及进程与线程的关系。进程我们在windows操作系统中打开任务管理器，可以看到有一项是“进程”，里面列举出了用户目前正在运行的所有进程，包括系统进程和用户应用程序进程，以及每个进程所占用的内存资源等信息。进程是操作系统结构的基础，它不仅只包括运行的程序代码，还包括当前的活...
2012-05-12 00:41:00
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人