- 博客(6)
- 资源 (1)
- 收藏
- 关注
转载 InputFormat学习
InputFormat学习<br />InputFormat,就是为了能够从一个jobconf中得到一个split集合(InputSplit[]),然后再为这个split集合配上一个合适的RecordReader(getRecordReader)来读取每个split中的数据。<br />InputSplit,继承自Writable接口,因此一个InputSplit实则包含了四个接口函数,读和写(readFields和write),getLength能够给出这个split中所记录的数据大小,getLocati
2010-09-29 08:52:00 749
转载 Linux查看CPU信息、机器型号等硬件信息
<br />测试机器的硬件信息: <br /><br />查看CPU信息(型号) <br /># cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c <br /> 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz <br />(看到有8个逻辑CPU, 也知道了CPU型号) <br /><br /># cat /proc/cpuinfo | grep physical | uniq -c
2010-09-20 17:19:00 617
转载 Hadoop使用常见问题以及解决方法
<br />Hadoop使用常见问题以及解决方法1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out<br />Answer:<br />程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。<br />修改办法:<br />修改2个文件。<br /> /etc/security/limits.conf<br />vi /et
2010-09-15 09:03:00 9087
原创 xmlInitParser和xmlCleanupParser使用详解
<br /> xmlInitParser 和 xmlCleanupParser 使用详解 收藏<br />使用libxml2库的朋友,可能会对它提供的初始化接口(xmlInitParser )和清除资源接口(xmlCleanupParser )感到困惑.因为在它主页中提供的例子里面,各处使用的情况差别很大. 我花了些时间把这两个接口使用方法整理如下:<br />1. 在单线程(single-threaded)环境中<br /> xmlInitParser 可以被调用一次,或者被调用多次(多于一次),甚
2010-09-04 15:15:00 4278
原创 libxml使用实例
<br />libxml2<br />1 声明指针: 文档指针(xmlDocPtr),结点指针(xmlNodePtr);<br />2 得到文档doc: xmlReadFile<br />3 得到根结点root_node: xmlDocGetRootElement<br />4 结点操作:<br />1)获得到结点值: xmlNodeGetContent(对应于xmlFree)<br />2)遍历:<b
2010-09-04 15:14:00 4366
原创 valgrind简单用法
<br />Valgrind的主要作者Julian Seward刚获得了今年的Google-O'Reilly开源大奖之一──Best Tool Maker。让我们一起来看一下他的作品。Valgrind是运行在Linux上一套基于仿真技术的程序调试和分析工具,它包含一个内核──一个软件合成的CPU,和一系列的小工具,每个工具都可以完成一项任务──调试,分析,或测试等。Valgrind可以检测内存泄漏和内存违例,还可以分析cache的使用等,灵活轻巧而又强大,能直穿程序错误的心脏,真可谓是程序员的瑞士军刀。 <
2010-09-04 15:11:00 1656
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人