Hadoop
乐路
开朗,热情,努力,热血奋斗
展开
-
linux(centos5.8)环境下Hadoop 2.0.2单机部署以及Eclipse环境搭建
Hadoop 2.0.2-alpha单机部署(1)新建hadoop用户以及hadoop用户组首先取得root权限新 $ su -建用户hadoop组 # groupadd hadoop新建用户hadoop,放入hadoop组中,并设置主目录为/home/hadoop # useradd -g hadoop -d /home/转载 2013-05-02 16:47:35 · 1086 阅读 · 0 评论 -
Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含1. hadoop common : 为其他项目提供基础设施2. HDFS :分布式的文件系 统3. MapReduce : A software转载 2013-05-02 17:04:01 · 642 阅读 · 0 评论 -
Hadoop MapReduceV2(Yarn) 框架简介
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapRe转载 2013-05-17 14:54:22 · 1264 阅读 · 1 评论 -
hadoop系统的端口
hadoop系统的端口hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080,80 用于tomcat和apache的端口。22 ssh的端口 2.Web UI用于访问和监控Hadoop系统运行状态转载 2013-05-17 16:19:58 · 1688 阅读 · 0 评论 -
hadoop三个配置文件的参数含义说明
1 获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到co转载 2013-05-07 09:48:33 · 757 阅读 · 0 评论 -
Hadoop本地库与系统版本不一致引起的错误解决方法
部署Hadoop的集群环境为 操作系统 CentOS 5.8 hadoop版本为cloudera hadoop-0.20.2-cdh3u3集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库,本地库的默认位置在$HADOOP_HOME/lib/native/Linux-amd64-64 (64位操作系统转载 2013-05-07 09:21:05 · 604 阅读 · 0 评论 -
hadoop编译
在YARN自带的软件包中有关于编译的说明,具体参见:BUILDING.txt。在RetHat中编译YARN,Jdk为1.6.0_23.1.下载YARN源码包下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/(这里下载的版本为2.0.2),下载hadoop-2.0.2-alpha-src转载 2013-06-14 17:07:57 · 1037 阅读 · 0 评论 -
SSH 原理与运用
SSH 是每一台 Linux 电脑的标准配置。 随着 Linux 设备从电脑逐渐扩展到手机、外设和家用电器,SSH 的使用范围也越来越广。不仅程序员离不开它,很多普通用户也每天使用。 SSH 具备多种功能,可以用于很多场合。有些事情,没有它就是办不成。本文是我的学习笔记,总结和解释了 SSH 的常见用法,希望对大家有用。 虽然本文内容只涉及初级应用,较为简单,但是需要读者具备最基转载 2013-06-18 11:43:32 · 429 阅读 · 0 评论 -
hadoop 里执行 MapReduce 任务的几种常见方式
说明: 测试文件: 1echo -e "aa\tbb \tcc\nbb\tcc\tdd" > 3.txt1hadoop fs -put 3.txt /tmp/3.txt全文的例子均以该文件做测试用例,统计单词出现的次数(WordCount)。 1、原生态的转载 2013-07-04 10:48:48 · 1203 阅读 · 0 评论