2012年02月_豹先生_MR-BAO

04月 02月 01月

原创 mapreduce中Cannot load JDBC driver class 'net.sourceforge.jtds.jdbc.Driver' 异常分析

因为mapreduce牵扯到了用spring，hibernate开源框架，引入之后报如下错误（在普通web工程中是没问题的）：org.apache.commons.dbcp.SQLNestedException: Cannot load JDBC driver class 'net.sourceforge.jtds.jdbc.Driver' at org.apache.com

2012-02-29 15:05:37 2689 1

原创解决hadoop mapreduce 包依赖问题

使用hadoop时，我们有时会自写一些mapreduce的应用，我们可能会用到一些第三方的包。如果不做任何处理，在job执行的就会报ClassNotFound的Exception.有四种处理方法：1. 把要依赖的包部署到每台task tracker上面这个方法最简单，但是要部署到每台task tracker，而且可能引起包污染的问题。比如应用A和应用B都用到同一个libray，

2012-02-28 14:31:20 1739

转载利用Ant构建hadoop mapreduce jar包并自动上传服务器

最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。思路如下：1、利用Ant在开发机器上将代码编译、打包，最终得到可执行的jar包。2、利用Ant的SSH属性，将ja

2012-02-28 11:10:48 1763

原创 mapreduce ENOENT: No such file or directory异常

Error initializing attempt_201202221208_0010_m_000018_0:ENOENT: No such file or directory at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) at org.apache.hadoop.fs.RawLocalFileSystem.s

2012-02-27 14:31:15 5115 1

原创 HBase on Windows(windows下使用cygwin安装hbase问题记录)

步骤：1，HBaseDownload the latest release of HBase from the website. As the HBase distributable is just a zipped archive, installation is as simple as unpacking the archive so it ends up in it

2012-02-03 15:29:51 2191