云算法调用平台--web 工程调用hadoop集群1.4

标签: web调用hadoop
5325人阅读 评论(3) 收藏 举报
分类:

Mahout版本:0.7,hadoop版本:1.0.4,jdk:1.7.0_25 64bit,struts2

本次版本更新如下:

1)修改了整个目录结构:前台页面的三个模块分开文件夹,一个文件夹只包含一个功能块;前台发送请求给struts,struts调用action,action调用相应的service完成算法调用,service和action全部分开;

2)前台调用界面增加了相关验证,同时把html修改为了jsp,防止提交的action目录不对;

3)本次可用算法:hadoop模块的Text2Vector,mahout的canopy算法;

4)增加了算法监控界面:所有的action首先跳转到其对应的action,然后全部跳转到中间转换的action:transform,transform主要是获得当前运行job的相关信息,获得后返回给monitoring.jsp,显示监控信息。monitoring.jsp每隔三秒刷新,向transform action发送请求获得当前运行job的最新信息。如此循环,等到当前算法的所有job都运行完成后,monitoring.jsp不再发送请求,算法运行完毕。

5)界面修改更加美观。

1.运行本项目的时候需要保证集群已经跑了一次成功的任务,不然会报下面的错误:


2. 运行text2vectory 算法的监控页面:


3.算法运行完成后的界面:


4. 调用canopy可以使用text2vector的输出数据,目前可用的距离计算类只有下图所示的:


5. 点击提交后,会出现一个错误,点击确定后,就可以出现监控界面了,同时这里是否要对原始数据进行分类选择否,是的情况会出现权限不够,暂时没有解决。


6. 算法运行完成后的界面:



本次版本下载在:http://download.csdn.net/detail/fansy1990/6641325


分享,成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990


3
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:986803次
    • 积分:12617
    • 等级:
    • 排名:第1149名
    • 原创:261篇
    • 转载:4篇
    • 译文:3篇
    • 评论:687条
    博客专栏
    文章分类
    最新评论