![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算学习
文章平均质量分 79
dahaifeiyu
我是一名计算机专业大学生,喜欢学习新技术
展开
-
Hadoop的优势介绍
初识Hadoop1. 大量的数据目前我们以每天很大的信息增长速度积累着大量的数据,其中包括个人数据和工业数据。衡量数据的单位的增长也说明了数据的快速街垒。GBTBPBZB 2. 数据分析通过大量数据的分析我们可以获得更多有价值的信息,但与此同时如何分析如此规模之大的数据也成了一个很大的问题。针对读写速度慢的问题,可以采用分布式存储的方式(HDFS)提高读写速度。针对硬件故障可以通过存储冗余数据的方式来解决。针对如何正确的把分布在不同存储地点的数据加以整合分析,可以通过mapreduce以键值原创 2010-07-16 11:47:00 · 4564 阅读 · 0 评论 -
edhat 5.4部署完全分布多节点Hadoop集群
多节点集群Hadoop平台的搭建部署是建立在前面所说的单节点Hadoop的基础上的,其搭建操作主要集中在master主机上,slave主机中只做很少的修改就好了。一、 单节点的搭建参照前面的文档在主机上首先实现单节点的搭建。并将单节点的虚拟机文件拷贝到每个要做节点的主机相应的目录上。这主要是保证每个节点的配置完全相同。二、 有关网络的一些配置在搭建过程中,首先联网一定要保证主机ip是固定的,无所谓使用的是无线网络还是有线网络。对于无线网络,可以使用手动指定ip的方式保证ip的固定。虚拟机与物理主机的联网采用原创 2010-06-05 21:32:00 · 1910 阅读 · 0 评论 -
Hadoop 集群的基准测试
<br />多节点集群性能测试手记<br />测试时间:2010年7月18日 测试地点:主楼B1-601测试人:王振飞<br />测试环境:<br />12个节点,每个节点的物理机配置为双核CPU,主频2.60Hz,<br />内存3G,硬盘250G,网络带宽100Mbps以太网,虚拟机VMware workstation 7.1.0 build-261024,平台RHEL5.5,内核版本2.6.18,,虚拟机配置为单核CPU,1G内存,Hadoop版本为0.20.2,在HDFS中每个文件块有3个备份。<原创 2011-03-03 11:19:00 · 3270 阅读 · 0 评论 -
Hadoop 集群的基准测试
<br />多节点集群性能测试手记<br />测试时间:2010年7月18日 测试地点:主楼B1-601测试人:王振飞<br />测试环境:<br />12个节点,每个节点的物理机配置为双核CPU,主频2.60Hz,<br />内存3G,硬盘250G,网络带宽100Mbps以太网,虚拟机VMware workstation 7.1.0 build-261024,平台RHEL5.5,内核版本2.6.18,,虚拟机配置为单核CPU,1G内存,Hadoop版本为0.20.2,在HDFS中每个文件块有3个备份。<原创 2011-03-03 11:20:00 · 2455 阅读 · 2 评论 -
Kafka消息订阅发布系统设计介绍
<br />Kafka学习总结<br />一、Kafaka简介<br />Kafka是一个分布式的消息发布-订阅系统。它的特性如下:<br />l 通过在O(1)的磁盘数据结构上提供消息持久化,对于即使数以TB的消息存储也能够保持长时间的稳定性能。<br />l 高吞吐:在商用机器上可以提供每秒数十万条的消息<br />l 支持在Kafaka服务器集群上进行messages分片,并在把messages在消费集群的机器上分配的同时维护每个分片的顺序信息。<br />l 支持将数据并行的加载到Hadoo翻译 2011-05-31 08:23:00 · 5445 阅读 · 0 评论 -
Hadoop源代码分析之Configuration配置
最近也觉得应该仔细的看一下Hadoop的源代码了,以前只是懂得基本的架构了使用,最近在做一个系统,觉得很多东西可以借鉴MapReduce的可扩展性。但是当我们的系统的0.1版本出现的时候才发现我们的配置上很混乱。于是我自己的看了一下Hadoop的Configuration类,真的原创 2011-08-03 08:58:43 · 2524 阅读 · 1 评论 -
flumebase介绍(一)
1.介绍 FlumeBase是一个建立在Flume之上的数据驱动的流处理系统。这个系统允许用户动态的向数据收集环境插入查询并且监控被Flume收集到的事件流。这些查询可能是抽样调查输入的数据,也可能是指定固定的监控,也可能是数据转换或者是质量过滤任务。这些查询是用一个类似于SQ翻译 2011-09-30 14:42:34 · 1891 阅读 · 0 评论