fansy1990的专栏

一日一积累

云算法调用平台--web 工程调用hadoop集群1.4

Mahout版本:0.7,hadoop版本:1.0.4,jdk:1.7.0_25 64bit,struts2

本次版本更新如下:

1)修改了整个目录结构:前台页面的三个模块分开文件夹,一个文件夹只包含一个功能块;前台发送请求给struts,struts调用action,action调用相应的service完成算法调用,service和action全部分开;

2)前台调用界面增加了相关验证,同时把html修改为了jsp,防止提交的action目录不对;

3)本次可用算法:hadoop模块的Text2Vector,mahout的canopy算法;

4)增加了算法监控界面:所有的action首先跳转到其对应的action,然后全部跳转到中间转换的action:transform,transform主要是获得当前运行job的相关信息,获得后返回给monitoring.jsp,显示监控信息。monitoring.jsp每隔三秒刷新,向transform action发送请求获得当前运行job的最新信息。如此循环,等到当前算法的所有job都运行完成后,monitoring.jsp不再发送请求,算法运行完毕。

5)界面修改更加美观。

1.运行本项目的时候需要保证集群已经跑了一次成功的任务,不然会报下面的错误:


2. 运行text2vectory 算法的监控页面:


3.算法运行完成后的界面:


4. 调用canopy可以使用text2vector的输出数据,目前可用的距离计算类只有下图所示的:


5. 点击提交后,会出现一个错误,点击确定后,就可以出现监控界面了,同时这里是否要对原始数据进行分类选择否,是的情况会出现权限不够,暂时没有解决。


6. 算法运行完成后的界面:



本次版本下载在:http://download.csdn.net/detail/fansy1990/6641325


分享,成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990


阅读更多
文章标签: web调用hadoop
个人分类: hadoop web
上一篇flex struts2单文件上传、同名文件上传、多文件上传
下一篇easyhadoop:failed to open stream:Permission denied in /var/www/html/index.php
想对作者说点什么? 我来说一句

web 工程调用hadoop集群1.4

2013年12月02日 49.21MB 下载

web 工程调用hadoop集群

2013年05月12日 29KB 下载

web 工程调用hadoop集群1.3

2013年11月17日 48.44MB 下载

没有更多推荐了,返回首页

关闭
关闭