hadoop
文章平均质量分 78
飘茗
这个作者很懒,什么都没留下…
展开
-
(转)Failed with exception Unable to rename
hive:MoveTask2014-02-14 14:58 680人阅读 评论(1) 收藏 举报hive运行SQL时出了个错:SQL: INSERT OVERWRITE DIRECTORY 'result/testConsole' select count(1) from nutable; 错误信息:Failed with exception Unab...原创 2014-12-25 18:41:47 · 577 阅读 · 0 评论 -
hadoop日常
1、 【Flume】flume输出sink到hbase的实现http://www.bubuko.com/infodetail-653767.html#0-tsina-1-76562-397232819ff9a47a7b7e80a40613cfe1 2、血的教训!测试flume一定要先看第一行错误!它是以栈的方式输出报错信息的··· 3、sqoo...原创 2017-10-25 09:57:40 · 79 阅读 · 0 评论 -
bash: hadoop: command not found
一般是.bash_profile 配置出错了。 或者是没有source .bash_profile #HADOOPexport HADOOP_HOME=/home/zjq/hadoop-1.2.1export PATH=$HADOOP_HOME/bin:$PATH原创 2014-12-03 15:23:30 · 151 阅读 · 0 评论 -
MapReduce优化
相信每个程序员在编程时都会问自己两个问题“我如何完成这个任务”,以及“怎么能让程序运行得更快”。同样,MapReduce计算模型的多次优化也是为了更好地解答这两个问题。MapReduce计算模型的优化涉及了方方面面的内容,但是主要集中在两个方面:一是计算性能方面的优化;二是I/O操作方面的优化。这其中,又包含六个方面的内容。1. 任务调度任务调度是Hadoop中非常重要的一环,这个优...原创 2014-11-18 18:06:32 · 69 阅读 · 0 评论 -
(转)hadoop hdfs常用命令
hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.tx...原创 2014-10-21 20:22:20 · 337 阅读 · 0 评论 -
(转)hadoop 根据SecondaryNameNode恢复Namenode
制造namenode宕机的情况 1) kill 掉namenode的进程[hadoop@hadoop bin]$ kill -9 134812)删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name. current image in_use.lock previous.checkpoint[hadoop@hadoop nam...原创 2014-10-16 18:11:18 · 86 阅读 · 0 评论 -
(转)委任新节点
向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序,配置相应的环境变量2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置host,需要有集群中各节点的host对应4. 新节点上建立相关的目录,并修改属主5. master的slaves文件中增加上相的节点,ma...原创 2014-10-15 18:59:06 · 70 阅读 · 0 评论 -
设置负载均衡器
<!--StartFragment -->1. 启动bin/start-balancer.sh2. 按照使用率去balancer百分比 -threshold 设置平衡的比例3. 设置频率<property> <name>dfs.balance.bandwidthPerSec</name> <value>1048576</va...原创 2014-10-15 18:18:04 · 105 阅读 · 0 评论 -
Hadoop之路,蠢的错误
13/11/07 08:45:08 INFO mapred.JobClient: Task Id : attempt_201311070843_0001_r_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.NoSuchMethodException:忘了将一个程序中的map reduce方法改成staticj...原创 2015-04-13 13:52:26 · 234 阅读 · 0 评论 -
Not a valid JAR我在执行hbase官方说明中的一个例子,是用mapreduce连接hbase进行数据读写的一个程序。报了以下错误: Excepti...
. 编译 WordCount.java 2. 打成 WordCount.jar包 上传的hdfs。。3. hadoop jar WordCount.jar ***.**.MainClass /**/input /***/output问题一直提示 Not a valid JAR: /usr/***/***/wordcount.jar 问题是:执行jar包的时候应该是用本地jar包,...原创 2014-12-26 19:02:35 · 1031 阅读 · 0 评论 -
(转)如何去掉mapreduce自动添加的分隔符
我们在使用streaming模式的mapreduce开发程序的时候,经常会发现输出结果中被莫名其妙的添加了分割符,比如在一行的中间或者结尾多了 一个Tab符号。尤其是输出只有一个字段的时候,末尾一定会被添加一个Tab符,看着十分恶心,而且有可能影响程序的正确性,所以我们一定要除掉它。 首先来看看他是怎么产生的。因为streaming版本的mapreduce,会...原创 2017-10-25 09:59:06 · 826 阅读 · 0 评论