2015年4月
大数据框架Hadoop学习
大数据框架Hadoop学习技术博文
展开
-
使用Linux 和Hadoop 进行分布式计算
人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容,但您曾经想过这些搜索是如何执行的吗?一种方法是 Apache 的Hadoop,它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架...原创 2019-05-14 14:15:43 · 178 阅读 · 0 评论 -
用 Linux 和 Apache Hadoop 进行云计算
IBM?、Google、VMWare 和 Amazon 等公司已经开始提供云计算产品和战略。本文讲解如何使用 ApacheHadoop构建一个 MapReduce 框架以建立 Hadoop 集群,以及如何创建在 Hadoop 上运行的示例 MapReduce 应用程序。还将讨论如何在云上设置耗费时间/磁盘的任务。 云计算简介 近来云计算越来越热门了,云计算已经被看作 IT 业的新趋势。云计...原创 2019-05-14 14:24:08 · 167 阅读 · 0 评论 -
Linux下Hadoop集群安装详细步骤
1. 环境的需求(这里虚拟机下CentOS6的安装就不说了) Centos6 + Hadoop-0.21.0.tar 2. 服务器的配置(我在这里均为2个CPU,2G内存,100硬盘) 在这里,服务器IP最好是固定的,也就是说,能相互之间用ping命令ping通的IP 建议在公司开发,因为公司有这个条件,我在这里配置了三台datanode,分别为 Datanod...原创 2019-05-14 15:17:40 · 543 阅读 · 0 评论