Hadoop
Torres
积累 成长
展开
-
从jar包中读取资源文件
因为项目需要将配置文件打包到jar包,然后再MR job中读取资源。 我以读取"hadoop-core-0.20.2-cdh3u2.jar"中core-default.xml配置文件举例,代码如下: Java代码 public static void main(String[] args) throws InterruptedExcept转载 2013-02-22 13:10:12 · 487 阅读 · 0 评论 -
Hadoop 文件操作命令
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 1. 查看文件列表 查看hdfs中/user/admin/hdfs目录下的文件。 a. 进入HADOOP_HOME目录。 b. 执行sh bin/hadoop fs -ls /user/admin/hdfs 查看hdfs中/user/admin/hdfs目录下的所有文件(包原创 2013-05-02 10:08:15 · 383 阅读 · 0 评论 -
Eclipse中安装Hadoop 插件
http://hi.baidu.com/ihsauqaxblbdmwq/item/9ddaf2fca32315b230c199a7 http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html 另外注意eclipse的版本问题,当前用的是3.7.2可以正常其它版本都不行 1.Eclipse:原创 2013-03-22 17:27:46 · 524 阅读 · 0 评论 -
Hadoop配置和使用问题记录
Hadoop配置和使用问题记录 关于hadoop如何配置的教程网上已经有不少了,配合hadoop主页上的说明,基本可以顺利在多台机器上配置好hadoop集群。这里记录的是我在实际配置和使用hadoop时遇到的问题,其中一些属于hadoop周边,如ssh配置时容易遇到的问题和解决方法,供大家参考。我目前是在windows xp里通过cygwin安装的hadoop,版本是转载 2013-03-21 11:10:23 · 416 阅读 · 0 评论 -
Hadoop 三台主机 集群搭建 详解
Hadoop 三台主机 集群搭建 详解 个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址:Hadoop 三台主机 集群搭建 详解,欢迎原站访问~ 学习更多,请访问系列文章: 1. VMware Redhat网络配置 2. Hadoop 三台主机 集群搭建 详解 3. Windows 下配置 Eclipse 连接 Hadoop 开发环境转载 2013-03-14 20:08:31 · 485 阅读 · 0 评论 -
hadoop 异常
java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion: org.apache.hadoop.ipc.Server: Error register getProtocolVersionjava.lang.IllegalArgumentException: Duplicate metricsName:转载 2013-03-14 19:21:41 · 865 阅读 · 0 评论 -
Hadoop中常出现的错误以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf vi /etc/转载 2013-03-13 22:37:27 · 480 阅读 · 0 评论 -
Hadoop namenode 不能启动解决方案
每次机器重启了,namenode都启动不了,造成到原因可能是: 在core-site.xml配置中hadoop.tmp.dir的目录在系统启动时被清空 [html] view plaincopy [html] view plaincopy property>转载 2013-03-14 16:04:53 · 424 阅读 · 0 评论 -
Hadoop中Partition解析
Hadoop中Partition解析 1.解析Partition Map的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。 Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用Reducer作为Combiner的基类转载 2013-03-13 14:04:54 · 409 阅读 · 0 评论 -
Hadoop+Hive+Mysql安装文档
Hadoop+Hive+Mysql安装文档 软件版本 redhat enterprise server5.5 64 Hadoop 1.0.0 Hive 0.8.1 Mysql 5 Jdk 1.6转载 2013-03-12 22:07:22 · 2190 阅读 · 0 评论 -
hadoop集群增加/删除节点
hadoop集群增加/删除节点 hadoop要发到每个节点的配置文件,只有core-site.xml mapred-site.xml hdfs-site.xml 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的转载 2013-03-13 14:55:13 · 419 阅读 · 0 评论 -
SLF4J的简单使用
SLF4J的简单使用 http://www.slf4j.org/全称:Simple Logging Facade for Java简单日志门面(Facade)SLF4J是为各种loging APIs提供一个简单统一的接口,从而使得最终用户能够在部署的时候配置自己希望的loging APIs实现。Logging API实现既可以选择直接实现SLF4J接口的loging APIs原创 2013-03-12 14:15:18 · 540 阅读 · 0 评论 -
MapReduce中的两表join几种方案简介
MapReduce中的两表join几种方案简介 5人收藏此文章, 我要收藏发表于2个月前(2012-12-11 20:11) , 已有91次阅读 ,共0个评论 1. 概述 在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。转载 2013-02-22 13:05:19 · 2664 阅读 · 0 评论 -
hadoop 文件合并
众所周知,Hadoop对处理单个大文件比处理多个小文件更有效率,另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。 1,getmerge hadoop有一个命令行工具getmerge,用于将一组HDFS上的文件复制到本地计算机以前进行合并 参考:http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell转载 2013-05-08 17:49:27 · 2779 阅读 · 0 评论