2014年3月
大数据框架Hadoop学习
大数据框架Hadoop学习技术博文
展开
-
使用Linux 和Hadoop 进行分布式计算
人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容,但您曾经想过这些搜索是如何执行的吗?一种方法是 Apache 的Hadoop,它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架...原创 2019-05-14 14:15:43 · 181 阅读 · 0 评论 -
用 Linux 和 Apache Hadoop 进行云计算
IBM?、Google、VMWare 和 Amazon 等公司已经开始提供云计算产品和战略。本文讲解如何使用 ApacheHadoop构建一个 MapReduce 框架以建立 Hadoop 集群,以及如何创建在 Hadoop 上运行的示例 MapReduce 应用程序。还将讨论如何在云上设置耗费时间/磁盘的任务。 云计算简介 近来云计算越来越热门了,云计算已经被看作 IT 业的新趋势。云计...原创 2019-05-14 14:24:08 · 169 阅读 · 0 评论 -
Hadoop集群内lzo的安装与配置详解
操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-CDH3B4 安装lzo所需要软件包:gcc、ant、lzo、lzo编码/解码器,另外,还需要lzo-devel依赖 配置lzo的文件:core-site.xml、mapred-site.xml 大致步骤: 1)安装和更新gcc、ant 2)在各个节点安装lzo 3)安装lzo编码/解码器 4)修改配置文件,并同...原创 2019-05-14 15:13:50 · 427 阅读 · 0 评论 -
建立学习用小型Hadoop集群
系统安装完毕进行Hadoop的简单配置: 1. hadoop-env.sh配置JAVA_HOME 2. masters文件指定备用namenode,slaves文件指定tasktracker 3. core-site.xml设置dfs.default.name为hdfs://namenode 4. hdfs-site.xml设置dfs.name.dir和dfs.data.dir目录 5....原创 2019-05-14 15:15:12 · 170 阅读 · 0 评论 -
Hadoop伪分布式模式测试(hadoop-0.20.2)
# 配置系统 conf/core-site.xml: <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property&g...原创 2019-05-15 11:10:02 · 240 阅读 · 0 评论