云计算
文章平均质量分 84
SavageGarden_Love
这个作者很懒,什么都没留下…
展开
-
Hadoop (0.21.0)分布式部署笔记
1. 集群环境操作系统:CentOS release 5.5 x86_64IP分配:/etc/hosts 192.168.1.100 master192.168.1.101 slave1192.168.1.102 slave2…… 2. 配置SSH ...原创 2010-12-22 15:39:08 · 123 阅读 · 0 评论 -
Hadoop 0.23 CDH4 高可用集群指南
CDH4高可用集群指南 一、Hadoop的高可用性 1.概论 本指南提供了一个HDFS的高可用性(HA)功能的概述,以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情,请参阅Apache的...原创 2012-03-26 21:56:30 · 165 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(数据处理)
1.工具类、接口简介(1) // 用于对数据进行分类 org.apache.hadoop.chukwa.extraction.demux.DemuxManager // mapreduce程序的map处理接口 org.apache.hadoop.chukwa.extraction.demux.processor.mapper.MapProcessor...原创 2012-03-06 18:12:36 · 123 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(收集器)
1.接口、实现类简介 org.apache.hadoop.chukwa.datacollection.collector.CollectorStub 收集器服务类,使用jetty实现了一个webserver以处理连接器提交的数据块 org.apache.hadoop.chukwa.datacollection.collector.servlet.ServletColl...原创 2012-03-06 17:46:09 · 119 阅读 · 0 评论 -
将Chukwa 0.5部署在基于Cloudera CDH4的Hadoop集群上
一、使用maven构建基于chukwa 0.5的项目 使用nexus搭建了maven私服,此时如果使用maven构建chukwa 0.5版本时可能在以下两个依赖项遇到问题 thrift-0.2.0.jar hadoop-core-0.20-append-r1056497.pom 这是因为chukwa0.5版本在pom文件中依赖了hbase0...原创 2012-04-24 15:51:28 · 115 阅读 · 0 评论 -
使用CloudStack构建云计算管理平台
Cloud.com(前身是VMOps)提供了开源版本(GPL v3许可证)的CloudStack基础设施管理产品:CloudStack Community Edition(CloudStack社区版)。CloudStack同时支持VMware ESX、Xen、KVM以及Hyper-V。它提供了大量云计算...2010-11-19 15:24:45 · 189 阅读 · 0 评论 -
CentOSX86-64上测试Xen动态迁移
1. 机器环境:操作系统:CentOS 5.5 X86_64网络配置:eth0 192.168.1.2012. 安装xen,这里使用yum的方式# yum -y groupinstall 'Virtualization' 3. 修改grub,使用xen内核启动系统title CentOS (2.6.18-194.32.1.el5xen)root (hd...原创 2011-02-21 11:38:00 · 231 阅读 · 0 评论 -
使用Fuse挂载HDFS
前提,已经安装好hadoop集群1. 安装fuse 这里可以编译安装或yum安装 yum install fuse fuse-libs fuse-devel 2. 安装ant 使用yum安装 yum install ant 3....2011-09-13 11:06:37 · 165 阅读 · 0 评论 -
海量日志分析处理系统 一、开篇
目前正在写一个日志处理系统,虽然业务很简单,但是感觉想把它做大做强,还是有很多东西可以挖掘的,希望能在这里把整个过程记录下来,对自己的积累做个总结。 计划使用如下技术构建整个系统。 1. 使用scribe集群完成日志收集 2. 使用hadoop集群完成日志分析处理 3. 使用hbase完成分析结果的存储 ...2011-04-25 18:05:04 · 157 阅读 · 0 评论 -
Hadoop(0.21.0) 常用基本配置
1. Master与Slaver部署在同一台机器有时候可能我们并没有那么多机器,比如只有两台,这时候想把一台机器既作为master又作为slaver,只需要在conf/slaves中添加上master即可比如:[code="ini"]master 192.168.1.100slave1 192.168.1.101slave2 192.168.1.102[/c...原创 2011-01-06 15:06:48 · 109 阅读 · 0 评论 -
Mahout协同过滤框架Taste的源码分析
推荐过程主要分成了如下几步来完成推荐 1. 输入数据预处理 2. 获取评分矩阵 3. 计算物品相似度 4. 矩阵乘法 5. 数据过滤 6. 计算推荐测试数据user&item12345133320244400355503444414继...2014-06-12 16:12:45 · 162 阅读 · 0 评论