Mahout协同过滤框架Taste的源码分析

推荐过程 主要分成了如下几步来完成推荐 1. 输入数据预处理 2. 获取评分矩阵 3. 计算物品相似度 4. 矩阵乘法 5. 数据过滤 6. 计算推荐 测试数据 user&item 1 2 3 4 5 1 3 3 3 2 0 2 4 ...

2014-06-12 16:12:45

阅读数 24

评论数 0

将Chukwa 0.5部署在基于Cloudera CDH4的Hadoop集群上

一、使用maven构建基于chukwa 0.5的项目       使用nexus搭建了maven私服,此时如果使用maven构建chukwa 0.5版本时可能在以下两个依赖项遇到问题       thrift-0.2.0.jar     hadoop-core-0.20-append-r...

2012-04-24 15:51:28

阅读数 9

评论数 0

Hadoop 0.23 CDH4 高可用集群指南

  CDH4 高可用集群指南   一、 Hadoop 的高可用性   1. 概论 本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群...

2012-03-26 21:56:30

阅读数 25

评论数 0

基于Hadoo的日志收集框架---Chukwa的源码分析(数据处理)

1.工具类、接口简介 (1)    // 用于对数据进行分类 org.apache.hadoop.chukwa.extraction.demux.DemuxManager // mapreduce程序的map处理接口 org.apache.hadoop.chu...

2012-03-06 18:12:36

阅读数 8

评论数 0

基于Hadoo的日志收集框架---Chukwa的源码分析(收集器)

1.接口、实现类简介     org.apache.hadoop.chukwa.datacollection.collector.CollectorStub     收集器服务类,使用jetty实现了一个webserver以处理连接器提交的数据块     org.apache.hadoop....

2012-03-06 17:46:09

阅读数 10

评论数 0

使用Fuse挂载HDFS

前提,已经安装好hadoop集群 1. 安装fuse     这里可以编译安装或yum安装     yum install fuse fuse-libs fuse-devel   2. 安装ant     使用yu...

2011-09-13 11:06:37

阅读数 32

评论数 0

海量日志分析处理系统 一、开篇

      目前正在写一个日志处理系统,虽然业务很简单,但是感觉想把它做大做强,还是有很多东西可以挖掘的,希望能在这里把整个过程记录下来,对自己的积累做个总结。         计划使用如下技术构建整个系统。         1. 使用scribe集群完成日志收集       2. 使用...

2011-04-25 18:05:04

阅读数 11

评论数 0

CentOSX86-64上测试Xen动态迁移

1.    机器环境: 操作系统:CentOS 5.5 X86_64 网络配置:eth0 192.168.1.201 2.    安装xen,这里使用yum的方式 # yum -y groupinstall 'Virtualization' 3.    修改grub,使用xen内核启动...

2011-02-21 11:38:00

阅读数 19

评论数 0

Hadoop(0.21.0) 常用基本配置

1. Master与Slaver部署在同一台机器 有时候可能我们并没有那么多机器,比如只有两台,这时候想把一台机器既作为master又作为slaver,只需要在conf/slaves中添加上master即可 比如: [code="ini"] ...

2011-01-06 15:06:48

阅读数 11

评论数 0

Hadoop (0.21.0)分布式部署笔记

  1.      集群环境 操作系统: CentOS release 5.5 x86_64 IP 分配: /etc/hosts     192.168.1.100 master 192.168.1.101 slave1 192.168.1....

2010-12-22 15:39:08

阅读数 20

评论数 0

使用CloudStack构建云计算管理平台

Cloud.com( 前身是VMOps) 提供了开源版本(GPL v3 许可证) 的CloudStack 基础设施管理产品:CloudStack Community Edition(CloudStack 社区版) 。CloudStack 同时支持VM...

2010-11-19 15:24:45

阅读数 10

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭