基于命令行的mahout软件0.8版本Canopy算法分析的数据处理流程

原创 2013年12月10日 18:36:06

mahout软件0.8版本Canopy算法分析的数据处理分为以下三个步骤:

  1. 从数据库提炼你需要处理的数据的字段
  2. 依据提炼的数据处理为vectors
  3. 将处理后的vectors数据读取

一、从数据库提炼数据

这是一个sqoop-->>hive-->>hdfs转储为vectors的过程

原理:首先通过sqoop将数据库数据保证表结构不变全部导入到hive中,然后使用下面的语句创建准备用于mahout数据的hive表使用如下语句

create table 表名 (字段声明) row format delimited fields terminated by ' '

需要注意,必须使用空格作为hive表中字段的分隔符才能够被以命令行方式调用的mahout数据处理工具识别。

二、将hive表的数据处理为vectors

mahout自带的org.apache.mahout.clustering.conversion.InputDriver类可以将全部数值的文件转换为vector的,如果是字符的文本转换则要使用seqdirectory seq2sparse
这两个工具,详细参数可以使用如下的方式从命令行获得

bin/mahout 类名 --help
需要注意,如果是以命令行方式处理数据,字符数据和数值数据不要混合在一个文件里,无论在数据库中字段是否在同一个表中,一个要分离为不同文件,或者将字符替代为数字。否则处理过程中会出现java虚拟机内存溢出或者内存不足的错误。

而被处理的数据也最好分为多个小的文件。

三、读取处理后的数据

Canopy算法处理后的数据是需要使用ClusterDump工具处理为非二进制格式,而不是VectorDump工具,同时,0.8版本的VectorDump工具参数已经发生重大变化和0.7以及0.6有了很大的不同

ClusterDump工具的输出路径需要是本地路径而不能hdfs的路径,否则会报出无法创建导出数据文件的错误。

版权声明:本文为博主原创文章,未经博主允许不得转载。

遥感数据处理流程~~~

  • 2009年05月23日 16:17
  • 4KB
  • 下载

mahout算法canopy源码分析之一:获得输入数据

对于canopy的输入数据需要的形式为序列文件,同时保证key:Text、value:VectorWritable。昨晚准备打算使用单纯的java程序搞定输入数据的准备,无奈老是会出点问题,昨晚的问题...

Pleiades卫星数据处理流程

  • 2013年09月11日 16:01
  • 8.52MB
  • 下载

cisco asa数据处理流程-精典

  • 2012年06月02日 14:35
  • 413KB
  • 下载

bash命令行处理流程及关于双引号的源码解析

之前在执行脚本时发现一个问题:cat a.sh #!/bin/bash OPTS="--conf javaOption=\"-Da=b -Dc=d\"" eval ./c.sh $OPTS ./c.s...

cass二调版数据数据处理流程

  • 2013年06月08日 17:08
  • 23KB
  • 下载

基于TBSS的DTI数据处理流程

Linux系统,安装好FSL,DTI数据完成预处理后可进行TBSS处理,比较各组间FA骨架的差异。 1.数据准备: 在研究目录下,创建一个叫’TBSS’,并且把所有被试个体空间下的FA图像(d...

Linux icmp 学习笔记 之二 icmp数据处理流程

在分析icmp数据拜处理流程之前,我有如下疑问: 1、为什么要为每一个cpu创建一个仅用于发送icmp报文的socket呢,不使用socket不也是可以把icmp报文发送出去吗? 2、ping的工...

顶点着色器和像素着色器的数据处理流程

顶点着色程序从GPU前端模块(寄存器)中提取图元信息(顶点位置、法向量、纹理坐标等),并完成顶点坐标空间转换、法向量空间转换、光照计算等操作,最后将计算好的数据传送到指定寄存器中;然后片断着色程序从中...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:基于命令行的mahout软件0.8版本Canopy算法分析的数据处理流程
举报原因:
原因补充:

(最多只允许输入30个字)