- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 windows下搭建hadoop-2.6.0本地idea开发环境
概述本文记录windows下hadoop本地开发环境的搭建:OS:windowshadoop运行模式:独立模式安装包结构:Hadoop-2.6.0-Windows.zip - cygwinInstall // cygwin离线安装包 - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包PS:hadoop-2.6.0-w
2015-08-20 15:40:30 7978 1
原创 制作并安装cygwin本地安装包
下载setup-x86_64.exe(64位) http://www.cygwin.com/双击setup-x86_64.exe开始安装选择Download Without Installing下载时添加国内高速镜像http://mirrors.sohu.com/cygwin下载完成后将会在本地创建一个文件夹把setup-x86_64.exe和本地文件夹一起拷贝到待安装的主机,运行set
2015-08-18 12:12:00 1503
原创 批量(bulkload)载入数据到hbase
HBase提供了操作表的java api,但是这种方式是单条数据插入,对于大量数据载入来说效率太低。 对于批量数据导入,直接生成HBase的内部存储结构:HFile,并将其导入到Hbase中的效率无疑是最高。 步骤如下:通过mapreduce将源数据导出为HFile文件 HBaseBulkLoadDriver.javaimport com.sq.platform.hbaseLoadServ
2015-08-17 17:07:16 1202
原创 java中利用jsch执行远程命令,实现sftp
利用jsch可以执行远程命令并实现sftp文件传输,以下为自定义的util:import com.jcraft.jsch.*;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.File;import java.io.FileInputStream;import java.io.InputStream;
2015-08-17 16:41:20 4159
原创 线程池中捕获线程执行异常
在项目中使用线程池时,使用了如下方式:ExecutorService dataUploadPool = Executors.newFixedThreadPool(writeThreadNum);dataUploadPool.execute(new Thread(task))但是这种方式下,主线程无法捕获子线程中的异常,也就无法在子线程出现异常时采取措施。如果换一个实现方式就可以捕获子线程异常,步骤如
2015-08-17 16:32:37 4853
原创 maven中使用不同配置文件打包
项目中经常会把项目部署到多个环境,例如本地和远程生产环境。 如果每次部署之前都手动修改配置文件会显得太土锤,maven的profile正好可以解决此类问题。 直接上实例:pom.xml<profiles> <profile> <!-- 本地环境 --> <id>local</id> <properties>
2015-08-11 09:13:49 760
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人