关闭

基于命令行的mahout软件0.8版本Canopy算法分析的数据处理流程

标签: mahout算法hdfs
1064人阅读 评论(0) 收藏 举报
分类:

mahout软件0.8版本Canopy算法分析的数据处理分为以下三个步骤:

  1. 从数据库提炼你需要处理的数据的字段
  2. 依据提炼的数据处理为vectors
  3. 将处理后的vectors数据读取

一、从数据库提炼数据

这是一个sqoop-->>hive-->>hdfs转储为vectors的过程

原理:首先通过sqoop将数据库数据保证表结构不变全部导入到hive中,然后使用下面的语句创建准备用于mahout数据的hive表使用如下语句

create table 表名 (字段声明) row format delimited fields terminated by ' '

需要注意,必须使用空格作为hive表中字段的分隔符才能够被以命令行方式调用的mahout数据处理工具识别。

二、将hive表的数据处理为vectors

mahout自带的org.apache.mahout.clustering.conversion.InputDriver类可以将全部数值的文件转换为vector的,如果是字符的文本转换则要使用seqdirectory seq2sparse
这两个工具,详细参数可以使用如下的方式从命令行获得

bin/mahout 类名 --help
需要注意,如果是以命令行方式处理数据,字符数据和数值数据不要混合在一个文件里,无论在数据库中字段是否在同一个表中,一个要分离为不同文件,或者将字符替代为数字。否则处理过程中会出现java虚拟机内存溢出或者内存不足的错误。

而被处理的数据也最好分为多个小的文件。

三、读取处理后的数据

Canopy算法处理后的数据是需要使用ClusterDump工具处理为非二进制格式,而不是VectorDump工具,同时,0.8版本的VectorDump工具参数已经发生重大变化和0.7以及0.6有了很大的不同

ClusterDump工具的输出路径需要是本地路径而不能hdfs的路径,否则会报出无法创建导出数据文件的错误。

0
0

猜你在找
【直播】机器学习&数据挖掘7周实训--韦玮
【套餐】系统集成项目管理工程师顺利通关--徐朋
【直播】3小时掌握Docker最佳实战-徐西宁
【套餐】机器学习系列套餐(算法+实战)--唐宇迪
【直播】计算机视觉原理及实战--屈教授
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之矩阵--黄博士
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之凸优化--马博士
【套餐】Javascript 设计模式实战--曾亮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:238610次
    • 积分:4157
    • 等级:
    • 排名:第7371名
    • 原创:154篇
    • 转载:87篇
    • 译文:16篇
    • 评论:22条
    博客专栏
    最新评论