Hadoop
小透明-溶冰
习惯了曾经不习惯的,直到不能再失去。
展开
-
Hadoop为何不适合小文件
今天吃中饭时同事提到这个问题,刚好最近在学习Hadoop,还真不知道为什么,晚上查了下,主要有这样几种原因:1、任何一个文件,目录和block,在HDFS中都会被表示为一个object存储在namenode的内存中,每一个object占用150 bytes的内存空间,当文件非常多时内存会爆掉;2、Map-Reduce分解后会有很多MapTask处理小文件,总的处理时间相对于转载 2013-01-14 17:06:44 · 1333 阅读 · 0 评论 -
MapReduce:默认Counter的含义
转载自:http://langyu.iteye.com/blog/1171091MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据。今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在转载 2013-04-09 22:19:21 · 604 阅读 · 0 评论 -
Hadoop添加删除节点
转载自:http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,转载 2013-04-10 12:57:05 · 525 阅读 · 0 评论 -
Hadoop集群的配置调优
转载自:http://blog.csdn.net/dajuezhao/article/details/6591034?reload一、背景Hadoop的集群使用也有些时候了,不过都是小集群的使用(数量小于30台)。在这个过程中不断的进行着配置调优的操作。最早的时候,在网上也没有找到一些合适的配置调优方法,于是,我在这里列举一些基本的调优配置,以供参考。最后,还有一个我自转载 2013-04-10 11:26:07 · 675 阅读 · 0 评论 -
Hadoop:hadoop.job.ugi
转发自:http://my.oschina.net/ale0512/blog/55003如果Hadoop用户标识不同于客户机上的用户账号,可以通过hadoop.job.ugi属性来显式设定Hadoop用户名和组名。 用户名和组名之间有半角逗号隔开例如:1preston,diecotrs,inventors其中p转载 2014-02-18 18:40:14 · 6012 阅读 · 0 评论 -
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES解决方案
转载自:http://hi.baidu.com/xiaomi/item/6d2cbdf35064040c84d278441.map 完成,但reduce阶段出错。12/01/06 17:09:15 INFO input.FileInputFormat: Total input paths to process : 212/01/06 17:09:16 INFO mapr转载 2014-03-29 12:08:40 · 1067 阅读 · 0 评论 -
Exception in createBlockOutputStream java.net.noRouteToHostException: No route to host
INFO hdfs.DFSClient: Exception in createBlockOutputStream 192.168.71.11:50010 java.net.noRouteToHostException: No route to host关闭namenode和所有slave节点的防火墙原创 2014-03-29 13:10:35 · 3521 阅读 · 0 评论 -
datanode 未启动
/************************************************************ STARTUP_MSG: Starting DataNode原创 2014-03-28 21:56:34 · 1227 阅读 · 0 评论 -
Hadoop数据类型
转载自:http://www.cnblogs.com/anny-1980/articles/2608097.html数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存转载 2014-03-30 13:52:16 · 560 阅读 · 0 评论 -
error: hive create table failed
Failed: Error in metadata: MetaException(message: Got exception: org.apache.hadoop.security.AccessControlExceptionorg.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc原创 2014-03-30 20:11:58 · 1255 阅读 · 0 评论 -
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete
转载自:http://hi.baidu.com/zhy65991/item/8428013fcf459e342f0f8158safemode模式NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。dfs.safemode.thresh转载 2014-03-29 13:29:01 · 578 阅读 · 0 评论 -
hbase mapreduce出错
14/04/01 18:02:46 WARN mapred.LocalJobRunner: job_local_0001java.util.NoSuchElementException at java.util.StringTokenizer.nextToken(StringTokenizer.java:332) at mapred.hbase.WordCountMappe原创 2014-04-01 17:31:15 · 773 阅读 · 0 评论 -
ERROR mapreduce.TableInputFormatBase
ERROR mapreduce.TableInputFormatBase: Cannot resolve the host name for /192.168.71.10 because of javax.naming.NameNotFoundException ;DNS name not found配置的Hbase所依赖的HDFS的namenode,尽可能不要使用IP,通过hostn原创 2014-04-01 22:55:01 · 2903 阅读 · 1 评论 -
eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
转载自:http://blog.csdn.net/gong_xucheng/article/details/17396401windows下,连接远程集群,直接在eclipse里运行mapreduce作业时,错误信息:11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing转载 2014-04-01 22:57:50 · 684 阅读 · 0 评论 -
hadoop---Unable to load native-hadoop library for platform的问题解决
转载自:http://blog.csdn.net/momomi_2005/article/details/21989135当遇到-Unable to load native-hadoop library for platform的问题时,打开eclipse中的run as-》run configuration,在VM argument中指出native lib的真实位置,转载 2014-04-01 23:35:16 · 638 阅读 · 0 评论 -
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
转载自:http://blog.csdn.net/vltic/article/details/72448991、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所转载 2014-04-02 08:41:08 · 516 阅读 · 0 评论 -
JobTracker 没有起来 datanode没有起来
转载自:http://hi.baidu.com/wylinux/item/eaeafb43fcb406af60d7b931BindException: Problem binding to cs-01.localhost.localdomain/192.168.0.4:9001 : Address already in use2012-06-10 20:43:03,004 IN转载 2013-04-09 18:29:39 · 1148 阅读 · 0 评论 -
Hadoop NameNode结点不能启动
转载自:http://blog.csdn.net/xiaolang85/article/details/85173242009-11-11 10:59:59,407 ERRORorg.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesysteminitialization failed.2009-11-1转载 2013-04-08 20:29:14 · 532 阅读 · 0 评论 -
Client向HDFS写入数据的过程解析
转载自:http://www.linuxidc.com/Linux/2012-09/70998.htm Client以数据块(Block)为单位进行数据存储。按照我们一般的理解,Client向HDFS写入数据,首先需要向NameNode申请Block;申请Block完成后,申请DataNode(包括备份存储的DataNode);二者完成后,Clent进行与DataNode之间的数据存转载 2013-04-07 13:04:58 · 928 阅读 · 0 评论 -
hadoop权威指南中的ncdc数据下载地址及命令
如题:给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令:The data are available via:1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html2)转载 2013-03-11 14:06:25 · 950 阅读 · 0 评论 -
bash: hadoop:command not found
在执行[user@hadoopName ~]hadoop namenode -format提示-bash:hadoop: No such file or directory这种情况应该是hadoop的bin环境变量没有配置好,修改vim /etc/profile文件export $HADOOP_HOME=/usr/hadoopexport PATH=$HAD原创 2013-03-12 18:33:51 · 11344 阅读 · 2 评论 -
The authenticity of host '211.82.83.244 (211.82.83.244)' can't be established.
[guoxiang@hadoopName conf]$ start-all.shstarting namenode, logging to /home/guoxiang/Hadoop/hadoop-1.0.4/libexec/../logs/hadoop-guoxiang-namenode-hadoopName.outThe authenticity of host '211.82.83.原创 2013-03-13 14:10:33 · 1706 阅读 · 2 评论 -
Hadoop 执行jps后没有namenode和datanode
hadoop的配置是参考这篇教程的http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/初次配置运行没什么问题MapReduce的例子也能正常运行,但是等若干天后再次运行时遇到了如下的问题:hadoop@ubuntu:~$ hadoop/bin/start-all.s转载 2013-03-13 14:30:55 · 4307 阅读 · 0 评论 -
Warning: $HADOOP_HOME is deprecated. 关闭
添加 export HADOOP_HOME_WARN_SUPPRESS=TRUE 到 hadoop-env.sh 中 注意要添加到集群中每一个节点中。 版本:hadoop 0.20.205 原因: Hadoop 在bin/hadoop-config.sh 中对HADOOP_HOME 进行了判断 判断发生的地方:#转载 2013-03-13 13:49:19 · 787 阅读 · 0 评论 -
command :hadoop:command not found
/etc/profile文件中已经添加了Hadoop的bin路径 root可以使用hadoop命令,但是普通用户就提示command :hadoop:command not found错误 解决方法: 在user1用户下执行source /etc/profile 成功!原创 2013-03-14 17:06:08 · 4228 阅读 · 0 评论 -
求助~如何在不重启jobtracker的情况下移除一个tasktracker?
原文地址:http://forum.hadoop.tw/viewtopic.php?p=41960 集群正在运行的情况下,不想为了移除一个tasktracker而重启jobtracker,影响整个集群。直接在要关闭的节点上用hadoop-daemon.sh关闭的话,在50030上还是能看到存在,有什么方法吗? 理論上經過一段時間之後就會消失了,您有試著等個 10 分鐘?转载 2013-03-15 17:44:40 · 852 阅读 · 0 评论 -
cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:54310/u
原文地址:http://hi.baidu.com/xucha00/item/16ac5f57ea3201c39e26675112/05/28 09:33:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for th转载 2013-03-18 20:46:16 · 3767 阅读 · 1 评论 -
hadoop环境安装,Datanode起不来
我之前用root安装的hadoop,想要创建一个普通的user用户chown -R user:user hadoopchmod -R 755 hadoop权限部分要求是755,要不然出错。Datanode起不来Datanode的日志中提示2013-03-21 15:33:07,562 WARN org.apache.hadoop.hdfs.server.data原创 2013-03-21 18:07:52 · 1416 阅读 · 0 评论 -
jobtracker起不来
日志:2013-03-21 15:43:55,763 WARN org.apache.hadoop.mapred.JobTracker: Failed to operate on mapred.system.dir (hdfs://192.168.1.101:9000/home/user/hadoop/tmp/mapred/system) because of permissions.原创 2013-03-21 18:10:29 · 1954 阅读 · 0 评论 -
ant不是内部命令也不是外部命令问题的解决方法
配置如下: 解压在D盘 新建变量ANT_HOME 路径为解压目录如D:/apache-ant-1.7.1 Path中添加路径为%ANT_HOME%/bin;错误提示: 'ant' 不是内部命令也不是外部命……原因:path不识别%ANT_HOME%解决转载 2013-03-21 22:09:58 · 1839 阅读 · 0 评论 -
hadoop1.0.4 eclipse插件编译
转载自:http://blog.csdn.net/weijonathan/article/details/8282661一、所需工具 eclipse-java-juno-SR1-win32.zip jdk-6u37-linux-x64.bin apache-ant-1.8.4-bin.zip hadoop-1.0.4二、Ant安装转载 2013-03-22 00:20:59 · 998 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied: user=xxj,
原文地址:http://blog.sina.com.cn/s/blog_5f3895a00100w2pu.htmlerror:org.apache.oozie.action.ActionExecutorException: JA002: org.apache.hadoop.security.AccessControlException: Permission denied:转载 2013-03-22 16:04:55 · 1599 阅读 · 0 评论 -
Windows 下配置 Eclipse 连接 Hadoop 开发环境
转载自:博客园 石头儿 原文地址:http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Windows 下配置 Eclipse 连接 Hadoop 开发环境,欢迎原站访问~ 学转载 2013-03-22 17:26:44 · 1091 阅读 · 0 评论 -
windows下eclipse连接Hadoop,连接DFS失败
如上:提示 failed on connection exception:java.net.ConnectException :Connection refuse: no further information. 提示的是连接211.82.83.81失败,也就是说有尝试连接,只是没有找到Hadoop, 原因是: /etc/hosts文件中没有加入 211原创 2013-03-22 15:01:34 · 3167 阅读 · 0 评论 -
hadoop+zookeeper+hbase+hive
转载自:http://9e5c59010c22a6c31d3eaa06.racktom.com/hadoop+zookeeper+hbase 安装 2011-05-27 14:34 一 机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & hbase转载 2014-04-02 15:13:14 · 933 阅读 · 0 评论