- 博客(67)
- 收藏
- 关注
原创 Hadoop源码的疑问
记录一下自己对于Hadoop源码的问题,版本0.20.2。1,在FIFO算法中,一个Job的status是什么时候被设为RUNNING的?2,《Hadoop权威指南2nd》210页关于“The Relationship Between Input Splits and HDFS Blocks”这部分也不是很理解,TextInputFormat的getSplits()会调用父类FileInp
2011-12-15 21:32:28 800
原创 VirtualBox挂载window文件夹
1,VirtualBox选择对应虚拟机啊,右键,设置-数据控件,添加:‘数据空间位置’选择window的文件夹;‘数据空间名称’随意起,在mount命令时会用到;选择‘固定分配’2,进入虚拟机,sudo mount -t vboxsf $数据空间名称 $linux下的一个目录 ...
2011-11-06 20:52:50 515
原创 Java容器学习
http://langyu.iteye.com/blog/360728http://langyu.iteye.com/blog/393672http://zhangshixi.iteye.com/blog/672697
2011-10-12 23:48:26 189
原创 Java I/O系统 笔记[2]
10.新I/O nio速度的提高来自于所使用的结构更接近于操作系统执行I/O的方式:通道和缓冲器。我们并没有直接和通道交互,只是和缓冲器交互,并把缓冲器派送到通道。通道要么从缓冲器换得数据,要么向缓冲器发送数据。 唯一直接与通道交互的缓冲器是ByteBuffer----也就是说,可以存储未加工字节的缓冲器。 旧I/O的FileInputStream、Fil...
2011-10-12 11:39:50 140
原创 Java I/O系统 笔记[1]
2.输入和输出public abstract class InputStream extends Object implements Closeable 此抽象类是表示字节输入流的所有类的超类。直接已知子类:AudioInputStream, ByteArrayInputStream, FileInputStream, FilterInputStream, InputStream...
2011-10-11 11:43:09 123
原创 [转] c++ 虚函数的实现机制:笔记
http://blog.csdn.net/jiangnanyouzi/article/details/3720807 1、c++实现多态的方法其实很多人都知道,虚函数在c++中的实现机制就是用虚表和虚指针,但是具体是怎样的呢?从more effecive c++其中一篇文章里面可以知道:是每个类用了一个虚表,每个类的对象用了一个虚指针。具体的用法如下:class A{public: ...
2011-09-26 23:36:14 94
原创 一些算法
单链表逆序struct node{ int data; node* next;};node* reverse(node* list){ node *t, *r, *s; t = list; r = NULL; while(t){ s = t->next; t->next = r; r = t; t = s; } ret...
2011-09-26 21:57:35 108
原创 堆和栈速度比较
至于堆和栈哪个更快,从两方面来考虑: 1.分配和释放,堆在分配和释放时都要调用函数(MALLOC,FREE),比如分配时会到堆空间去寻找足够大小的空间(因为多次分配释放后会造成空洞),这些都会花费一定的时间,具体可以看看MALLOC和FREE的源代码,他们做了很多额外的工作,而栈却不需要这些。 2.访问时间,访问堆的一个具体单元,需要两次访问内存,第一次得取得指针,第二次才...
2011-09-26 21:03:04 1950
原创 递归使用的注意事项
任何事情都是一分为二的,递归虽然有许多诸如解决复杂问题、缩短程序代码、提高变成效率等优点,但是它也有许多致命的弱点。可以想象,递归调用的过程可能象一个无底深渊,永远不能返回。我们知道函数在调用另一个函数时,需要把原来的函数的局部变量、返回地址等压入堆栈(即所谓的保留现场),以达到正常返回和继续执行。在一个函数进行递归调用时,每一次调用它本身,就象调用一个新的函数一样,他的所有的局部变量都要在内...
2011-09-26 00:06:09 1212
原创 JAVA杂记
x=x+1,x+=1,x++ x++效率最高;x=x+1需4步,x+=1需3步,x++需2步。 Java中涉及byte、char和short类型的运算操作首先会把这些值转换为int类型,然后对int进行运算,最后得到int类型结果。short s=1;s=s+1; 错误 short s=1;s+=1; 正确public class Test { public sta...
2011-09-13 10:44:01 137
原创 JAVA多线程学习
线程进入阻塞状态,可能有如下原因:(1)sleep();(2)wait();(3)等待某个输入/输出完成(4)试图在某个对象上调用其同步控制方法,但是对象锁不可用。(5)调用其他对象的join() 其中(3),(4)不可通过interrupt()中断。 (1)用interrupt()终止由于调用sleep()阻塞的线程。class Base implemen...
2011-09-12 19:06:05 97
原创 Java对象大小探究
参考:http://langyu.iteye.com/blog/1167581http://www.javamex.com/tutorials/memory/object_memory_usage.shtmlhttp://www.codeinstructions.com/2008/12/java-objects-memory-structure.htmlhttp:/...
2011-09-08 15:14:34 154
原创 svn打patch时产生多余的代码
在用svn diff 打patch后,发现patch中每个新增文件后都有下面这样一串东西:Property changes on: src/XXXXXXX.java___________________________________________________________________Added: svn:executable + * 开始以为是将新增的...
2011-09-07 14:19:07 320
原创 虚拟机virtualbox中挂载新硬盘
转自:http://liangbing8612.blog.51cto.com/2633208/652333 在virtualbox中装好Ubuntu后,发现硬盘空间太小,怎样才能增加硬盘容量?那就是再建一个硬盘:1. 添加新硬盘 设置 -> Storage -> SATA控制器->右击,选择“添加虚拟硬盘” 然后,根据需求创...
2011-09-07 10:56:16 311
原创 yjp-9.5.6使用
1,从http://www.yourkit.com/java/profiler/index.jsp下载安装文件,windwos和linux2,在linux上解压yjp-9.5.6-linux.tar.bz23,$YJP_HOME/bin/yjp.sh -attach pidPicked up JAVA_TOOL_OPTIONS: Attaching to process 10138...
2011-09-05 19:12:03 248
原创 BTrace使用
参考:http://kenwublog.com/btrace-theory-analysis http://blog.bluedavy.com/?p=185 http://www.iteye.com/topic/652653 http://macrochen.iteye.com/blog/838920 http://k...
2011-09-04 14:15:12 88
原创 单机测试HDFS多机架模拟
单机测试HDFS性能,HDFS的机架感知是需要配置,若没有配置则默认全部机器属于/default-rack。现需要模拟出多机架,又不需要去写脚本,Hadoop的测试框架已经提供了这样的功能,利用StaticMapping类就可以建立机器与机架的映射。…… co
2011-09-02 14:29:32 1571
原创 org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException
org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/Addbl
2011-09-02 14:26:33 4209 1
原创 单机测试NN时遇到的问题
在Hadoop的测试框架上写了一个小测试,用于比对NN使用不同策略分配数据块位置的速度: Configuration conf = new Configuration(); FileSystem.setDefaultUri(conf, "hdfs://localhost:" + 0); conf.set("dfs.http.address", "0.0.0.0:0")...
2011-08-30 21:15:08 280
原创 Eclipse常用快捷键
Shift+Tab 减少缩进Tab (同上)Ctrl+1 快速修复Ctrl+D: 删除当前行Alt+← 前一个位置Alt+→ 下一个位置Ctrl+Q 定位到最后编辑的地方Ctrl+I 格式化当前代码Ctrl+L 定位在某行 Ctrl+M 最大化当前的Edit或View (再按反之)Ctrl+W 关闭当前EditerCtrl+Shift+F4 ...
2011-08-29 10:37:37 79
原创 运行Hadoop测试代码
$ cd $HADOOP_HOME$ ant jar-test$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar//从列表中选择想运行的程序TEST_PROGRAM$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...] 若报错:Cause...
2011-08-28 17:16:46 292
原创 HDFS数据块恢复算法的思考
HDFS数据块恢复算法的触发时机有2处:一处是FSNamesystem.internalReleaseLease(Lease lease, String src);(租约恢复算法)一处是Client写pipeline时某个Datanode出现错误而触发,具体见DFSCli
2011-08-22 14:38:49 2128
原创 MapReduce常用代码片段备忘
JobProfile profile = JobSubmissionProtocol.getJobProfile(JobID jobid);profile.getURL().toString(); --------->http://jobtrackerhostname:50030/jobdetails.jsp?jobid=job_201107221702_3777
2011-08-21 15:08:15 101
原创 Raid常用代码片段备忘
DistributedRaidFileSystem其实就是装饰者设计模式中的装饰者,对DistributedFileSystem进行了封装,关键是DistributedRaidFileSystem.ExtFSDataInputStream.ExtFsInputStream对FSInputStream.read(byte[] b, int offset, int len)封装,捕获BlockMiss...
2011-08-19 11:00:45 135
原创 HDFS常用代码片段备忘
FileSystem fs;DistributedFileSystem dfs; 得到FileSystem: fs = new Path("/").getFileSystem(conf);RPC调用Namenode方法: fs.getClient().namenode.XXXXX();得到某个文件corrupt的数据块: LocatedBlocks l...
2011-08-10 15:26:59 154
原创 Linux常用命令
解压rar文件:unrar x -y SRCFILE DESTPATH建立软链接: ln -s TARGET LINK_NAME查看.jar文件里的内容: unzip -l XXX.jar查看.tar.gz tar -ztvf XXX.tar.gz t: --list list the contents of an a...
2011-07-25 20:19:39 103
原创 Linux svn 生成/打patch
checkout:svn checkout svnPath; //checkout后目录里面有.svn隐藏文件 修改系统默认语言:ubuntu默认的LANG环境变量是zh_CN.UTF-8,这对以后打patch时可能有影响,最好把LANG该为英文:在/etc/profile加上export LANG=us_EN.UTF-8,此后运行svn会有warn:svn: warn...
2011-07-25 16:44:41 697
原创 xoops-2.3.3安装
下载xoops-2.3.3-schinese_utf8.rar压缩包;解压后将xoops-2.3.3-schinese_utf8/htdocs文件夹复制到Apache2.2/htdocs/目录下,启动Apache服务器,访问http://localhost/htdocs/mainfile.php进行xoops的安装(注意mainfile.php去掉只读属性,默认已经去掉,在安装成功后会自动勾选
2011-06-08 11:19:00 1963
原创 Windows + Apache2.2 + mysql5.5.13+ php5.3.6 安装与环境配置
具体配置过程参看:http://hi.baidu.com/%D3%EA%BC%BE%D7%ED%C7%E5%B7%E7/blog/item/ade2f21df3d96f1d314e155c.htmlhttp://www.phpweblog.net/tanqimin/archive/2007/07/01/1424.aspx 按照上面的步骤,在windows7下配置Apac
2011-06-07 16:08:00 2226
原创 java.sql.Result.setFetchDirection(int direction)无法使用?
<br /> 需要在MySql查出数据后,从数据集的最后面开始逆向遍历记录,想利用java.sql.Result.setFetchDirection(int direction)函数,但是设置了Direction后还是从头开始遍历记录,不知道setFetchDirection(int direction)这个函数该如何使用?网上也没找到使用例子。现在是利用last()、relative(int rows)、previous()实现的逆向遍历。
2011-05-16 16:08:00 3307 1
转载 不同数据库获取前N条记录的Sql书写
1. ORACLE SELECT * FROM TABLE1 WHERE ROWNUM 或者 select * from (select * from tableName order by dbms_random.value) where rownum 2. INFORMIX SELECT FIRST N * FROM TABLE1 3. DB2 SELECT * ROW_NUMBER() OVER(ORDER BY COL1 DES
2011-05-15 20:11:00 1131
原创 Java追加文件内容的三种方法
<br />import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.RandomAccessFile;/** * * @author malik * @ve
2011-05-10 11:31:00 118281 2
原创 Java定时启动任务以及Heritrix超时处理
Timer timer = new Timer(); timer.schedule(new TimerTask() { public void run() { try{ /** *your code */ /*for test System.out.println("Start " + count
2011-05-10 11:14:00 2501
原创 DOM4XML
(一)新建一个xml文件,然后往里面添加元素package com.util;import java.io.File;import java.io.IOException;import javax.xml.parsers.DocumentBuilder;import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.parsers.ParserConfigurationException;import javax.xm
2010-08-01 21:47:00 964
原创 在Ubuntu9.04上配置Hadoop集群
参考《Hadoop开发者入门专刊.pdf》实践环境:Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)机器名 IP 作用ibm 125.216.227.173 NameNode、master、jobTrackeribm01 125.216.227.152 DataNode、slave、taskTracker安装步骤:1、安装ubuntu9.04 我用ub
2010-07-12 22:02:00 1939
原创 ubuntu9.04 JDK,JRE 环境变量配置
昨天在ubuntu9.04安装jdk,方法是在windows下载linux的jdk然后传到ubuntu后安装的,但发现这样是不能安装的,报错如下:Unpacking...Checksumming...The download file appears to be corrup
2010-07-12 10:12:00 2663
原创 ubuntu教育网更新源
<br />下午测试了一下,在未修改更新源的时候下载很慢。中途我中断了下载,把更新源更改为下面(我用的是教育网),很快就更新完毕。<br />1.更新前先备份原文件<br />sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup<br /><br />2、然后编辑更新源配置文件<br />sudo gedit /etc/apt/sources.list<br /><br />#中国科学技术大学更新服务器(教育网,推荐校园网和网通
2010-07-11 19:23:00 1839
原创 为ubuntu的root用户设置密码
<br /> ubuntu安装时,系统系统了一个管理员账户,由安装者自行命名,设密码。但有好多命令此账户无权执行,必须由root账户来执行。然而root用户需要设置了密码才能进行,否则suroot的执行结果只能得到一个告知有误的提示。所以我们需要对root进行加密。加密过程非常简单(Ubuntu10.04),在终端输入如下命令:sudo passwd root,系统提示输入密码,输入回车即可。不需要重启(计算机,终端程序都不许要),就已经可以执行su root了。
2010-07-11 15:28:00 1024
转载 Eclipse快捷键大全
<br />Shift+Tab 减少缩进(非常常用)<br />Tab (同上)<br />Ctrl+1 快速修复(最经典的快捷键了)<br />Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)<br />Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,省去先剪切,再粘贴)<br />Alt+↑ 当前行和上面一行交互位置(同上)<br />Alt+← 前一个编辑的页面<br />Alt+→ 下一个编辑的页面Alt
2010-06-14 16:49:00 602
原创 配置Heritrix在命令行使用
<br />今天安装Heritrix在命令行使用,主要参考以下这个网址:<br />http://hi.baidu.com/syimiaoa/blog/item/999e29f7934cdd26720eec84.html<br />1,其中:<br />monitorRole @PASSWORD@ ==> monitorRole admin<br />controlRole @PASSWORD@ ==> controlRole admin<br />意思是把 “monitorRole @PASSWO
2010-06-02 17:12:00 2701
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人