![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 81
iteye_2556
这个作者很懒,什么都没留下…
展开
-
Ubuntu11.10下安装Hadoop环境(单机伪分布式)
安装ssh 1 apt-get install ssh 安装rsync 1 apt-get install rsync 配置ssh免密码登录(因为是单机伪分布式模式,所以仅需检查一下机器是否对自己运行ssh) 1 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ...原创 2012-04-28 09:47:42 · 77 阅读 · 0 评论 -
Hadoop介绍及运行wordcount实例
Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理采用Master/S...原创 2012-05-05 14:04:29 · 123 阅读 · 0 评论 -
Hadoop平台在云计算上的应用
1 Hadoop 介绍 Hadoop是由Apache 开源组织的一个分布式计算框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供了一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop 的主要优点[3] 有:扩容能力强、成本低廉、效率高、高可靠性、免费开源及良好的可移植性。 Hadoop 集群是典型的Master/S...原创 2012-05-07 17:44:42 · 356 阅读 · 0 评论 -
MapReduce中的Shuffle和Sort分析
MapReduce 是现今一个非常流行的分布式计算框架,它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司,而Google 的灵感则来自于函数式编程语言,如LISP,Scheme,ML 等。 MapReduce 框架的核心步骤主要分两部分:Map 和Reduce。当你向MapReduce 框架提交一个计算作业时,它会首先把计算作业拆分...原创 2012-05-08 15:01:07 · 204 阅读 · 0 评论 -
hadoop shell操作与程式开发
见附件~原创 2012-05-09 11:24:45 · 62 阅读 · 0 评论