自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(67)
  • 收藏
  • 关注

原创 Hadoop源码的疑问

记录一下自己对于Hadoop源码的问题,版本0.20.2。1,在FIFO算法中,一个Job的status是什么时候被设为RUNNING的?2,《Hadoop权威指南2nd》210页关于“The Relationship Between Input Splits and HDFS Blocks”这部分也不是很理解,TextInputFormat的getSplits()会调用父类FileInp

2011-12-15 21:32:28 671

原创 VirtualBox挂载window文件夹

1,VirtualBox选择对应虚拟机啊,右键,设置-数据控件,添加:‘数据空间位置’选择window的文件夹;‘数据空间名称’随意起,在mount命令时会用到;选择‘固定分配’2,进入虚拟机,sudo mount -t vboxsf $数据空间名称 $linux下的一个目录 ...

2011-11-06 20:52:50 164

原创 Java容器学习

http://langyu.iteye.com/blog/360728http://langyu.iteye.com/blog/393672http://zhangshixi.iteye.com/blog/672697

2011-10-12 23:48:26 55

原创 Java I/O系统 笔记[2]

10.新I/O      nio速度的提高来自于所使用的结构更接近于操作系统执行I/O的方式:通道和缓冲器。我们并没有直接和通道交互,只是和缓冲器交互,并把缓冲器派送到通道。通道要么从缓冲器换得数据,要么向缓冲器发送数据。      唯一直接与通道交互的缓冲器是ByteBuffer----也就是说,可以存储未加工字节的缓冲器。      旧I/O的FileInputStream、Fil...

2011-10-12 11:39:50 48

原创 Java I/O系统 笔记[1]

2.输入和输出public abstract class InputStream extends Object implements Closeable 此抽象类是表示字节输入流的所有类的超类。直接已知子类:AudioInputStream, ByteArrayInputStream, FileInputStream, FilterInputStream, InputStream...

2011-10-11 11:43:09 56

原创 [转] c++ 虚函数的实现机制:笔记

http://blog.csdn.net/jiangnanyouzi/article/details/3720807 1、c++实现多态的方法其实很多人都知道,虚函数在c++中的实现机制就是用虚表和虚指针,但是具体是怎样的呢?从more effecive c++其中一篇文章里面可以知道:是每个类用了一个虚表,每个类的对象用了一个虚指针。具体的用法如下:class A{public:    ...

2011-09-26 23:36:14 31

原创 一些算法

单链表逆序struct node{ int data; node* next;};node* reverse(node* list){ node *t, *r, *s; t = list; r = NULL; while(t){ s = t->next; t->next = r; r = t; t = s; } ret...

2011-09-26 21:57:35 53

原创 堆和栈速度比较

至于堆和栈哪个更快,从两方面来考虑:     1.分配和释放,堆在分配和释放时都要调用函数(MALLOC,FREE),比如分配时会到堆空间去寻找足够大小的空间(因为多次分配释放后会造成空洞),这些都会花费一定的时间,具体可以看看MALLOC和FREE的源代码,他们做了很多额外的工作,而栈却不需要这些。     2.访问时间,访问堆的一个具体单元,需要两次访问内存,第一次得取得指针,第二次才...

2011-09-26 21:03:04 537

原创 递归使用的注意事项

任何事情都是一分为二的,递归虽然有许多诸如解决复杂问题、缩短程序代码、提高变成效率等优点,但是它也有许多致命的弱点。可以想象,递归调用的过程可能象一个无底深渊,永远不能返回。我们知道函数在调用另一个函数时,需要把原来的函数的局部变量、返回地址等压入堆栈(即所谓的保留现场),以达到正常返回和继续执行。在一个函数进行递归调用时,每一次调用它本身,就象调用一个新的函数一样,他的所有的局部变量都要在内...

2011-09-26 00:06:09 407

原创 JAVA杂记

x=x+1,x+=1,x++   x++效率最高;x=x+1需4步,x+=1需3步,x++需2步。 Java中涉及byte、char和short类型的运算操作首先会把这些值转换为int类型,然后对int进行运算,最后得到int类型结果。short s=1;s=s+1; 错误     short s=1;s+=1; 正确public class Test { public sta...

2011-09-13 10:44:01 45

原创 JAVA多线程学习

线程进入阻塞状态,可能有如下原因:(1)sleep();(2)wait();(3)等待某个输入/输出完成(4)试图在某个对象上调用其同步控制方法,但是对象锁不可用。(5)调用其他对象的join() 其中(3),(4)不可通过interrupt()中断。 (1)用interrupt()终止由于调用sleep()阻塞的线程。class Base implemen...

2011-09-12 19:06:05 33

原创 Java对象大小探究

参考:http://langyu.iteye.com/blog/1167581http://www.javamex.com/tutorials/memory/object_memory_usage.shtmlhttp://www.codeinstructions.com/2008/12/java-objects-memory-structure.htmlhttp:/...

2011-09-08 15:14:34 66

原创 svn打patch时产生多余的代码

在用svn diff 打patch后,发现patch中每个新增文件后都有下面这样一串东西:Property changes on: src/XXXXXXX.java___________________________________________________________________Added: svn:executable   + * 开始以为是将新增的...

2011-09-07 14:19:07 138

原创 虚拟机virtualbox中挂载新硬盘

转自:http://liangbing8612.blog.51cto.com/2633208/652333 在virtualbox中装好Ubuntu后,发现硬盘空间太小,怎样才能增加硬盘容量?那就是再建一个硬盘:1. 添加新硬盘     设置 -> Storage -> SATA控制器->右击,选择“添加虚拟硬盘”      然后,根据需求创...

2011-09-07 10:56:16 143

原创 yjp-9.5.6使用

1,从http://www.yourkit.com/java/profiler/index.jsp下载安装文件,windwos和linux2,在linux上解压yjp-9.5.6-linux.tar.bz23,$YJP_HOME/bin/yjp.sh -attach pidPicked up JAVA_TOOL_OPTIONS: Attaching to process 10138...

2011-09-05 19:12:03 46

原创 BTrace使用

参考:http://kenwublog.com/btrace-theory-analysis         http://blog.bluedavy.com/?p=185         http://www.iteye.com/topic/652653         http://macrochen.iteye.com/blog/838920         http://k...

2011-09-04 14:15:12 20

原创 单机测试HDFS多机架模拟

单机测试HDFS性能,HDFS的机架感知是需要配置,若没有配置则默认全部机器属于/default-rack。现需要模拟出多机架,又不需要去写脚本,Hadoop的测试框架已经提供了这样的功能,利用StaticMapping类就可以建立机器与机架的映射。…… co

2011-09-02 14:29:32 1418

原创 org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException

org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/Addbl

2011-09-02 14:26:33 3168 1

原创 单机测试NN时遇到的问题

在Hadoop的测试框架上写了一个小测试,用于比对NN使用不同策略分配数据块位置的速度:    Configuration conf = new Configuration();    FileSystem.setDefaultUri(conf, "hdfs://localhost:" + 0);    conf.set("dfs.http.address", "0.0.0.0:0")...

2011-08-30 21:15:08 64

原创 Eclipse常用快捷键

Shift+Tab 减少缩进Tab       (同上)Ctrl+1 快速修复Ctrl+D: 删除当前行Alt+← 前一个位置Alt+→ 下一个位置Ctrl+Q 定位到最后编辑的地方Ctrl+I 格式化当前代码Ctrl+L 定位在某行 Ctrl+M 最大化当前的Edit或View (再按反之)Ctrl+W 关闭当前EditerCtrl+Shift+F4 ...

2011-08-29 10:37:37 34

原创 运行Hadoop测试代码

$ cd $HADOOP_HOME$ ant jar-test$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar//从列表中选择想运行的程序TEST_PROGRAM$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...] 若报错:Cause...

2011-08-28 17:16:46 96

原创 HDFS数据块恢复算法的思考

HDFS数据块恢复算法的触发时机有2处:一处是FSNamesystem.internalReleaseLease(Lease lease, String src);(租约恢复算法)一处是Client写pipeline时某个Datanode出现错误而触发,具体见DFSCli

2011-08-22 14:38:49 2014

原创 MapReduce常用代码片段备忘

JobProfile profile = JobSubmissionProtocol.getJobProfile(JobID jobid);profile.getURL().toString();    --------->http://jobtrackerhostname:50030/jobdetails.jsp?jobid=job_201107221702_3777

2011-08-21 15:08:15 39

原创 Raid常用代码片段备忘

DistributedRaidFileSystem其实就是装饰者设计模式中的装饰者,对DistributedFileSystem进行了封装,关键是DistributedRaidFileSystem.ExtFSDataInputStream.ExtFsInputStream对FSInputStream.read(byte[] b, int offset, int len)封装,捕获BlockMiss...

2011-08-19 11:00:45 32

原创 HDFS常用代码片段备忘

FileSystem fs;DistributedFileSystem dfs; 得到FileSystem:    fs = new Path("/").getFileSystem(conf);RPC调用Namenode方法:    fs.getClient().namenode.XXXXX();得到某个文件corrupt的数据块:      LocatedBlocks l...

2011-08-10 15:26:59 49

原创 Linux常用命令

解压rar文件:unrar x -y SRCFILE DESTPATH建立软链接:        ln -s TARGET LINK_NAME查看.jar文件里的内容:        unzip -l XXX.jar查看.tar.gz        tar -ztvf XXX.tar.gz     t: --list  list the contents of an a...

2011-07-25 20:19:39 38

原创 Linux svn 生成/打patch

checkout:svn checkout svnPath; //checkout后目录里面有.svn隐藏文件 修改系统默认语言:ubuntu默认的LANG环境变量是zh_CN.UTF-8,这对以后打patch时可能有影响,最好把LANG该为英文:在/etc/profile加上export LANG=us_EN.UTF-8,此后运行svn会有warn:svn: warn...

2011-07-25 16:44:41 328

原创 xoops-2.3.3安装

下载xoops-2.3.3-schinese_utf8.rar压缩包;解压后将xoops-2.3.3-schinese_utf8/htdocs文件夹复制到Apache2.2/htdocs/目录下,启动Apache服务器,访问http://localhost/htdocs/mainfile.php进行xoops的安装(注意mainfile.php去掉只读属性,默认已经去掉,在安装成功后会自动勾选

2011-06-08 11:19:00 1640

原创 Windows + Apache2.2 + mysql5.5.13+ php5.3.6 安装与环境配置

具体配置过程参看:http://hi.baidu.com/%D3%EA%BC%BE%D7%ED%C7%E5%B7%E7/blog/item/ade2f21df3d96f1d314e155c.htmlhttp://www.phpweblog.net/tanqimin/archive/2007/07/01/1424.aspx       按照上面的步骤,在windows7下配置Apac

2011-06-07 16:08:00 2071

原创 java.sql.Result.setFetchDirection(int direction)无法使用?

<br />      需要在MySql查出数据后,从数据集的最后面开始逆向遍历记录,想利用java.sql.Result.setFetchDirection(int direction)函数,但是设置了Direction后还是从头开始遍历记录,不知道setFetchDirection(int direction)这个函数该如何使用?网上也没找到使用例子。现在是利用last()、relative(int rows)、previous()实现的逆向遍历。

2011-05-16 16:08:00 2774 1

转载 不同数据库获取前N条记录的Sql书写

1. ORACLE          SELECT * FROM TABLE1 WHERE ROWNUM   或者         select * from (select * from tableName order by dbms_random.value) where rownum 2. INFORMIX          SELECT FIRST N * FROM TABLE1 3. DB2          SELECT * ROW_NUMBER() OVER(ORDER BY COL1 DES

2011-05-15 20:11:00 1072

原创 Java追加文件内容的三种方法

<br />import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.RandomAccessFile;/** * * @author malik * @ve

2011-05-10 11:31:00 115306 2

原创 Java定时启动任务以及Heritrix超时处理

Timer timer = new Timer(); timer.schedule(new TimerTask() { public void run() { try{ /** *your code */ /*for test System.out.println("Start " + count

2011-05-10 11:14:00 2398

原创 DOM4XML

(一)新建一个xml文件,然后往里面添加元素package com.util;import java.io.File;import java.io.IOException;import javax.xml.parsers.DocumentBuilder;import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.parsers.ParserConfigurationException;import javax.xm

2010-08-01 21:47:00 872

原创 在Ubuntu9.04上配置Hadoop集群

参考《Hadoop开发者入门专刊.pdf》实践环境:Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)机器名                 IP                    作用ibm           125.216.227.173    NameNode、master、jobTrackeribm01        125.216.227.152    DataNode、slave、taskTracker安装步骤:1、安装ubuntu9.04     我用ub

2010-07-12 22:02:00 1832

原创 ubuntu9.04 JDK,JRE 环境变量配置

昨天在ubuntu9.04安装jdk,方法是在windows下载linux的jdk然后传到ubuntu后安装的,但发现这样是不能安装的,报错如下:Unpacking...Checksumming...The download file appears to be corrup

2010-07-12 10:12:00 2553

原创 ubuntu教育网更新源

<br />下午测试了一下,在未修改更新源的时候下载很慢。中途我中断了下载,把更新源更改为下面(我用的是教育网),很快就更新完毕。<br />1.更新前先备份原文件<br />sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup<br /><br />2、然后编辑更新源配置文件<br />sudo gedit /etc/apt/sources.list<br /><br />#中国科学技术大学更新服务器(教育网,推荐校园网和网通

2010-07-11 19:23:00 1731

原创 为ubuntu的root用户设置密码

<br />        ubuntu安装时,系统系统了一个管理员账户,由安装者自行命名,设密码。但有好多命令此账户无权执行,必须由root账户来执行。然而root用户需要设置了密码才能进行,否则suroot的执行结果只能得到一个告知有误的提示。所以我们需要对root进行加密。加密过程非常简单(Ubuntu10.04),在终端输入如下命令:sudo passwd root,系统提示输入密码,输入回车即可。不需要重启(计算机,终端程序都不许要),就已经可以执行su root了。

2010-07-11 15:28:00 952

转载 Eclipse快捷键大全

<br />Shift+Tab 减少缩进(非常常用)<br />Tab       (同上)<br />Ctrl+1 快速修复(最经典的快捷键了)<br />Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)<br />Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,省去先剪切,再粘贴)<br />Alt+↑ 当前行和上面一行交互位置(同上)<br />Alt+← 前一个编辑的页面<br />Alt+→ 下一个编辑的页面Alt

2010-06-14 16:49:00 554

原创 配置Heritrix在命令行使用

<br />今天安装Heritrix在命令行使用,主要参考以下这个网址:<br />http://hi.baidu.com/syimiaoa/blog/item/999e29f7934cdd26720eec84.html<br />1,其中:<br />monitorRole @PASSWORD@   ==> monitorRole admin<br />controlRole @PASSWORD@   ==> controlRole admin<br />意思是把 “monitorRole @PASSWO

2010-06-02 17:12:00 2619

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除