hadoop
竹林风
知九天高远,谙境界之美!
展开
-
authorized_keys 的权限
在伪分布模式和完全分布模式下公钥和私钥的配置时一定要修改authorized_keys 的权限,否则不能实现SSH无密码登录。命令如下:chmod 600 /home/gxudonghe/.ssh/authorized_keys详情可参阅http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.htm原创 2012-04-24 08:44:01 · 5203 阅读 · 0 评论 -
hadoop工作流引擎解压jar文件,并运行出现类型不匹配的情况
在做hadoop工作流引擎项目开发的时候,编写某些特定的Mapreduce程序,虽然该程序在hadoop平台型运行正常,但在工作流引擎中运行却出现错误,主要的原因是该工作流引擎是提取jar中的Mapper和Reducer以及主类,运行该jar时是要重新设置输入输出类型,原先设定的是输入时Text,输出是IntWritable,所以即使jar程序没有错,但放在工作流引擎中运行的时候就会报出异常……所原创 2012-05-17 11:37:29 · 564 阅读 · 0 评论 -
Hadoop中Reducer对输出的结果执行乘法或者加法的时候为什么都是执行两次
比如对于计算出的两条温度记录1949 1111950 22若对温度执行乘2,则得到1949 4441950 88而温度执行乘1,则得到原温度1949 1111950 22若执行加5,则得到1949 1211950 32都是加了两次这是为什么??经分析代码发现,原来自己的job.setCombinerClass(Temp原创 2012-05-10 10:40:44 · 710 阅读 · 0 评论 -
CentOS 6.0下Eclipse的安装
安裝Eclipse 在此我把Eclipse安装在 /usr 下,安装Eclipse很简单,只要把下载回来的压缩包解压就可以了;解压后得到eclipse目录; [root@yunhe] tar –zxvf /usr eclipse-SDK-3.7.1-linux-gtk.tar.gz 为让每一个帐号都可以执行Eclipse,我们在/usr/local/bin/目录下新建(ecli原创 2012-04-24 08:46:29 · 481 阅读 · 0 评论 -
hadoop测试用到的天气文件
0043012650999991949032412004+62300+010750FM-12+048599999V0202701N00461220001CN0500001N9+01111+999999999990043012650999991949032418004+62300+010750FM-12+048599999V0202701N00461220001CN0500001N9+00781原创 2012-04-24 08:41:17 · 228 阅读 · 0 评论 -
Hadoop完全分布模式配置详解
Hadoop集群的安装有三种支持模式:单机模式:默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。伪分布式模式:Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。完全分布式模式:在集群中所有机器节点上安装必须软件。本文实现完全分布式模式的安装,如下:硬件环境:三台电脑hadoop-1:172.2原创 2012-04-24 08:52:32 · 1041 阅读 · 0 评论 -
CentOS6.0 中java的卸载、安装及配置
1、卸载当前系统自带OpenJDK 查看当前系统JDK信息: rpm -qa | grep gcj 显示如下信息: java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 java-1.4.0-openjdk-1.4.0.0-1.7.b09.el5 卸载:在终端输入“yum -y remove java ja原创 2012-04-24 08:51:01 · 1258 阅读 · 0 评论 -
Hadoop单机(独立)模式的安装与配置
1.安装hadoop 1)进入usr目录新建hadoop目录mkdir hadoop解压hadoop-0.20.203.0rc1.tar.gz到hadoop目录 tar -zxvf hadoop-0.20.203.0rc1.tar.gz 2.配置 hadoop-env.sh 1)在hadoop/conf 里面hadoop-env.sh增加 java的JAVA_HOME环境配置和HA原创 2012-04-24 08:49:51 · 620 阅读 · 0 评论 -
CentOS下的MyEclipse中Hadoop的配置
1. 下载插件https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar2. 放入eclipse的插件目录。这里以Myeclipse8.5为例1) 进入MyEclipse8.5的安装目录,(/home/Genuitec/MyEclipse 8.原创 2012-06-12 14:46:35 · 856 阅读 · 0 评论