- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HBase导出CSV格式数据的方法
本文的测试环境为hbase-0.96.0 + yarn(hadoop-2.0.3-alpha) + pig-0.12.0。在测试前，先创建了一张名为test的hbase表，它内容非常简单，就只有一行数据：HBase export工具导出的数据的格式是sequence file。比如，在执行完命令“bin/hbase org.apache.hadoop.hbase.mapreduce.E
2014-03-16 11:21:43
23291
2
原创 从 Yarn 回滚到 Hadoop 1.x
上一篇博客介绍了如何从Hadoop 1.x升级到Yarn ，而这篇博客将介绍如何从从 Yarn 回滚到 Hadoop 1.x。以下是主要步骤。1、首先，能够回滚的前提是之前upgrade后没有执行过finalizeUpgrade的操作，否则将会导致回滚失败、NameNode不能正常启动：2、设置、启用Hadoop 1.x的环境变量3、更改‘dfs.data.dir’目录的权限
2014-03-16 10:20:08
1139
原创 从Hadoop 1.x升级到Yarn
这里简单记录一下主要步骤。1、停掉所有的Hadoop 1.x进程2、copy Hadoop 2.x项目文件到所有节点上3、设置Hadoop 2.x的环境变量4、编辑Hadoop 2.x的配置文件值得注意的是：需要使用之前版本的HDFS的meta data和 data。因此以下几项需要和之前版本Hadoop的设置一样：a) core-site.xml- hadoop.
2014-03-15 17:25:17
1577
原创 HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import
记录一下HBase 0.96.0 利用ImportTsv和completebulkload 导入数据的方法。我的环境里用的是Yarn。1、利用ImportTsv 将cvs文件导入到HBase步骤：a. 在hbase里面创建好table: 命令：create 'hbase-tbl-001','cf'b. Upload simple1.cvs文件到hdfs上面，其内容为
2014-03-15 15:23:50
12626
5
原创 使用cygwin 和 scala-eclipse 搭建 Mahout 源代码的开发环境
Open Source的projects很好，不过有些时候难免需要根据自己的需要来更改、重编译Open Source project的源代码。今天搭建了一个Mahout 源代码的Eclipse开发环境。Mahout是用Maven编译的，而且运行在Linux系统上。但我比较习惯在windows上面做开发，所以就基于cygwin搭建了一个Eclipse开发环境。概要步骤如下：1、安装cygwi
2014-03-01 22:02:04
2061
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人