Mahout案例实战 约会推荐
Mahout实战案例-约会推荐系统,详情参考博客《Mahout案例实战--Dating Recommender 系统》http://blog.csdn.net/fansy1990/article/details/44181459
java web程序调用hadoop2.6
java web程序演示调用hadoop2.6运行集群MR程序示例;
FP关联规则置信度
FP关联规则计算置信度的方法:参考Mahout FP算法相关相关源码。
只是单机版的实现,并没有MapReduce的代码,可以参考:
http://blog.csdn.net/fansy1990/article/details/41279833 实现思路
libimesti推荐系统
具体参考《Libimseti推荐系统》(http://blog.csdn.net/fansy1990/article/details/39692741)
(1)修改Configuration目录中的db.properties中的数据库配置;
(2)从http://www.occamslab.com/petricek/data/libimseticomplete.zip下载所需要的数据,解压后可以看到gender.dat 和ratings.dat文件;
(3)启动工程,自动生成相关表;
(4)在数据库中运行sql目录下sql,导入相关数据;
nmon 和 nmon analyser工具
nmon 和nmon analyser 系统监控工具,具体使用可以参考http://blog.csdn.net/fansy1990/article/details/39520423
easyui+spring+struts+hibernate 实例
Java Web Demo,前台使用easyUI控件、jQuery技术,后台使用Spring、Struts、Hibernate技术。具体运行参考:http://blog.csdn.net/fansy1990/article/details/39319335
MR Unit test需要的相关jar包
MR Unit test所需的jar包(不包含Hadoop环境jar包),适合Hadoop2,具体实例参考《hadoop编程小技巧(8)---Unit Testing (单元测试)》
Mahout贝叶斯分类不含标签数据
Mahout 贝叶斯算法根据模型分类无标签数据,具体参考http://blog.csdn.net/fansy1990/article/details/37991447
Mahout算法调用展示平台2.1-part3
第三部分
功能主要包括四个方面:集群配置、集群算法监控、Hadoop模块、Mahout模块。
详情参考《Mahout算法调用展示平台2.1》
Mahout算法调用展示平台2.1-part2
第二部分
功能主要包括四个方面:集群配置、集群算法监控、Hadoop模块、Mahout模块。
详情参考《Mahout算法调用展示平台2.1》
Mahout算法调用展示平台2.1
第一部分
功能主要包括四个方面:集群配置、集群算法监控、Hadoop模块、Mahout模块。
详情参考《Mahout算法调用展示平台2.1》
cdh50beta part2
kettle 5.0.1 调用cdh5.0.0 shim 包
cdh50beta shim 包
kettle5.0.1 使用cdh5.0.0 shim包
mahout0.9 jar支持hadoop2
mahout0.9 的jar包,支持hadoop2,此为第二部分jar包。具体调用方式参考lz相关博客
mahout0.9 jar包支持hadoop2
mahout0.9 的jar包,支持hadoop2(此为第一部分)
mahout0.9源码(支持hadoop2)
mahout0.9的源码,支持hadoop2,需要自行使用mvn编译。mvn编译使用命令:
mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests
phoenix2.2
phoenix2.2操作hbase0.96
phoenix2.2.2
phoenix 操作hbase0.96,(使用hadoop2)
hadoop2 MR运行修改jar
windows使用java调用hadoop2需要修改的jar,具体可以参考博主博客
hadoop左连接
hadoop左连接程序jar,可以直接运行。
博客推荐系统源码
运行博客推荐程序需要注意的地方:
1. 打开mysql,增加blog数据库;修改src下面的jdbc.properties文件的用户名和密码;
2. 修改blog.xml(和Readme.txt同目录)的docBase为本地目录,放在tomcat的conf\Catalina\localhost目录下面;
3. 修改applicationContext.xml文件中的自动生成表的配置(hibernate.hbm2ddl.auto),第一次启动为create,后面改为update;
4. 启动服务器,运行test目录下面的DataGenerator.java、运行src/data目录下面的UserGenerate.java
即可插入test用户信息以及云平台信息(需要修改UserGenerate.java中云平台相关配置);
版本:Spring3+Struts2+Hibernate3+Hadoop1.0.4+Mahout0.7+Mysql5
web平台调用hadoop集群2.0
web平台调用hadoop集群的升级版,要求所配置的hadoop集群需要把工程下面的所有class文件打包放入hadoop的lib目录下面。具体参考lz的blog介绍。
hadoop启动时间写入文件
hadoop:1.0.4
修改JobTracker源码,把JobTracker启动时间写入文件/private/jobtracker/starttime (hdfs文件系统);
只需替换hadoop-core-1.0.4.jar文件,然后重启系统集群即可,启动后就可以在hdfs文件系统看到/private/jobtracker/starttime中有的启动时间。
监控hadoop任务信息
hadoop:1.0.4,struct:2.3。
说明:hadoop云平台任务监控信息页面,仿效50030界面,提前获得10个未运行任务的id,然后显示这些id的信息;具体参考最新bolg。
web 工程调用hadoop集群1.4
web 工程调用hadoop集群1.4版本,使用structs2框架,把WEB-INF/lib下面的hadoop-fz1.3.jar拷贝到hadoop集群的lib下面,然后就可以运行了,此版本暂时只支持text2vector、canopy算法。具体参考http://blog.csdn.net/fansy1990中相应blog。
flex struts2文件上传
flex struts2 实现单文件、同名文件、多文件上传,具体分析参考blog相关内容。
flex datagrid doubleclick 实例
flex datagrid 的doubleclick实例,选择一个行的数据,获得选择的数据其做一些其他操作,具体分析参考相关博客:http://blog.csdn.net/fansy1990
flex dispatchEvent 实例工程
解压后,有两个flex工程:FlexServer1.1和FlexClient1.1,其中server是java的web工程,用于tomcat部署;client是flashBuilder的工程,主要是显示页面。具体原理参考相应blog。
web 工程调用hadoop集群1.3
web 工程调用hadoop集群1.3版本,使用structs2框架,把WEB-INF/lib下面的hadoop-fz1.3.jar拷贝到hadoop集群的lib下面,然后就可以运行了,暂时只支持text2vector算法。具体参考http://blog.csdn.net/fansy1990中相应blog。
flex 调用java
Flex通过RemoteObject调用java实例:flex传入参数以及接收java返回结果。
通过mysql数据库的分页来展现flex调用java的实例。工程一共有两个:一个是java web端的,一个是flex工程。详情参考对应博客。
svd mahout算法
svd算法的工具类,直接调用出结果,调用及设置方式参考http://blog.csdn.net/fansy1990 <mahout源码分析之DistributedLanczosSolver(七)>
读取HDFS序列化文件解析key、value可视化输出
ReadArbiKV是读取任务序列文件到一个map变量里面,可以启动调试模式进行变量查看; ReadAndWritePatterns是读取序列文件,并解析其key和value,然后可视化输出,所谓可视化输出是指不是乱码的输出,具体可以参考http://blog.csdn.net/fansy1990中《hadoop解析序列文件并可视化输出》
bazel-0.5.4
bazel-0.5.4-dist.zip 下载,原官网下载有时会下载不了,可以在这个地方下载。
TensorFlow1.3.0 on centos6.5
TensorFlow1.3.0 on centos6.5 ,编译的TensorFlow1.3.0代码,参考博客
spark-yarn_2.10-1.6.0-cdh5.7.3.jar
Oozie Spark on YARN requirement failed 所需jar包:http://blog.csdn.net/fansy1990/article/details/53856608
冠字号查询系统数据
基于HBase冠字号查询系统、数据,参考https://github.com/fansy1990/ssh_v3/releases
hdp一键部署脚本
hdp一键部署脚本,打开one_key.sh参考HELP,修改hosts文件运行即可。具体参考lz博客《HDP一键配置》
storm实时单词计数
K天熟悉Apache Storm (三)的示例代码,实时单词计数应用场景
hotspot关联规则
hotspot关联规则的Java实现,参考weka的相关源码,可用于离散型和连续型数据处理,分析过程参考《HotSpot关联规则算法(2)-- 挖掘连续型和离散型数据》
hotspot算法源码
HotSpot算法源码,参考weka上面的实现编写,目前只能处理离散型数据,具体参考博客《HotSpot关联规则算法(1)-- 挖掘离散型数据》