hadoop学习问题总结

最新推荐文章于 2022-07-07 13:09:19 发布

j3smile

最新推荐文章于 2022-07-07 13:09:19 发布

阅读量1k

点赞数

分类专栏： hadoop 文章标签： hadoop jar mapreduce fp 集群扩展

本文链接：https://blog.csdn.net/j3smile/article/details/7372333

版权

hadoop 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

1）找到问题的原因

sequenceFile时连接不上错误，一直以为是集群没有搭建成功，运行其他程序却没有问题，确定是程序本身的问题。

2）hadoop streaming babel不能处理连续的两个由sequencefile生成的文件，一直不知道是什么原因，将sequence用cat导出时，又上网搜发现是babel不能处理在分子开始处多一个空行的文件。

3）hadoop的streaming可以自己生成，可见hadoop的可扩展性有多大，其他问题也可以自己定制hadoop

4）

单变量检查法（cat～～babel -isdf -ofpt -xh -xf FP4'）

hadoop jar ../SdfInputFormat-old/jar-streaming/hadoop-streaming-1.0.0.jar -input "/Com*_1*" -mapper 'cat' -inputformat TextInputFormat -numReduceTasks 0 -output 'o19'

hadoop jar jar/hadoop-streaming-1.0.0.jar -input "/Com*_1*" -mapper 'cat' -inputformat TextInputFormat -numReduceTasks 0 -output 'o20'

hadoop jar jar/hadoop-streaming-1.0.0.jar -input "/Com*_1*" -mapper 'cat' -inputformat SdfTextInputFormat -numReduceTasks 0 -output 'o21'

hadoop jar jar/hadoop-streaming-1.0.0.jar -input "/Com*_1*" -mapper 'babel -isdf -ofpt -xh -xf FP4' -inputformat SdfTextInputFormat -numReduceTasks 0 -output 'o22'

mjiang@venus ~/java/eclipse/target-hadoop/Streaming-jar $ hadoop fs -cat o22/part-00000
>1   15 bits set
00000000 00000000 00000000 00000000 00000000 00000000
00002fc0 00000000 00000000 00000000 00000000 00000000
00000000 00980000 00000004 04400003

hadoop jar jar/hadoop-streaming-1.0.0.jar   -input "/Compound_000000001_000025000.sdf"    -mapper 'babel -isdf -ofpt -xh -xf FP4' -inputformat SdfTextInputFormat -numReduceTasks 0 -output 'o23'

OKKKKKKKK!!!!!!!!!!!!!!!!!!!!!!
5）

hadoop jar jar-streaming/hadoop-streaming-1.0.0.jar -D mapred.map.tasks=2 -input "/Com*_1*" -mapper 'cat' -inputformat SdfTextInputFormat -numReduceTasks 0 -output 'o13'

hadoop fs -cat /user/mjiang/o12/part-00001 没有，说明分片数不是mapred.map.tasks=2 控制的

6）

mapreduce 处理数据是一行调用map程序一次，而 streaming是map循环调用数据。。。要不就是babel有保存的功能

测试：

#!/usr/bin/env python
import sys
i=0
for line in sys.stdin:
    #if line.strip()=="> <PUBCHEM_OPENEYE_CAN_SMILES>":
    if line.strip()=="> <PUBCHEM_OPENEYE_CAN_SMILES>":
        #print line.strip()
        i+=1;
        print i

streaming运行后：

输出为：

1
2
3
...

而不是1，1，1
所以肯定是一个map一直运行，而不是一行调用一次

7）

每一步都有目的，别试来试去。可能有时候就是需要试来拭去。特别是自己不熟悉的知识

20120808

hadoop fs -ls 通配符的缺陷

mjiang@syvenus:~/program/eclipse/ccms_stat$ hadoop fs -ls /user/mjiang/
Found 4 items
drwxrwxrwx - mjiang supergroup 0 2012-08-06 15:00 /user/mjiang/.Trash
drwxrwxrwx - mjiang supergroup 0 2012-08-06 14:55 /user/mjiang/hive
drwxrwxrwx - mjiang supergroup 0 2012-08-03 17:40 /user/mjiang/mjiang
drwxrwxrwx - mjiang supergroup 0 2012-08-06 13:36 /user/mjiang/test
mjiang@syvenus:~/program/eclipse/ccms_stat$ hadoop fs -ls /user/mjiang/te*

mjiang@syvenus:~/program/eclipse/ccms_stat$

mjiang@syvenus:~/program/eclipse/ccms_stat$ hls /user/mjiang/mjiang
Found 1 items
drwxrwxrwx - mjiang supergroup 0 2012-08-03 17:40 /user/mjiang/mjiang/test4
mjiang@syvenus:~/program/eclipse/ccms_stat$ hls /user/mjiang/mjiang/te*
Found 8 items
-rw-rw-rw- 3 mjiang supergroup 0 2012-08-03 17:40 /user/mjiang/mjiang/test4/_SUCCESS
drwxrwxrwx - mjiang supergroup 0 2012-08-03 17:36 /user/mjiang/mjiang/test4/_logs
-rw-rw-rw- 3 mjiang supergroup 14 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00000.bz2
-rw-rw-rw- 3 mjiang supergroup 75007289 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00001.bz2
-rw-rw-rw- 3 mjiang supergroup 19696013 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00002.bz2
-rw-rw-rw- 3 mjiang supergroup 28549784 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00003.bz2
-rw-rw-rw- 3 mjiang supergroup 16578129 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00004.bz2
-rw-rw-rw- 3 mjiang supergroup 292 2012-08-03 17:36 /user/mjiang/mjiang/test4/part-m-00005.bz2

貌似只有最后一层才可用

8）

map只有一个时是不出具体的进展信息的，好几个后就出了具体的进展信息了

2/07/31 11:05:25 INFO mapred.JobClient: map 50% reduce 0%

12/07/31 11:05:37 INFO mapred.JobClient: map 66% reduce 0%

12/07/31 11:06:10 INFO mapred.JobClient: map 83% reduce 0%