- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 InputFormat学习
InputFormat学习<br />InputFormat，就是为了能够从一个jobconf中得到一个split集合（InputSplit[]），然后再为这个split集合配上一个合适的RecordReader（getRecordReader）来读取每个split中的数据。<br />InputSplit，继承自Writable接口，因此一个InputSplit实则包含了四个接口函数，读和写（readFields和write），getLength能够给出这个split中所记录的数据大小，getLocati
2010-09-29 08:52:00
749
转载 Linux查看CPU信息、机器型号等硬件信息
<br />测试机器的硬件信息： <br /><br />查看CPU信息（型号） <br /># cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c <br /> 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz <br />(看到有8个逻辑CPU, 也知道了CPU型号) <br /><br /># cat /proc/cpuinfo | grep physical | uniq -c
2010-09-20 17:19:00
617
转载 Hadoop使用常见问题以及解决方法
<br />Hadoop使用常见问题以及解决方法1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out<br />Answer：<br />程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。<br />修改办法：<br />修改2个文件。<br /> /etc/security/limits.conf<br />vi /et
2010-09-15 09:03:00
9084
原创 xmlInitParser和xmlCleanupParser使用详解
<br /> xmlInitParser 和 xmlCleanupParser 使用详解 收藏<br />使用libxml2库的朋友,可能会对它提供的初始化接口(xmlInitParser )和清除资源接口(xmlCleanupParser )感到困惑.因为在它主页中提供的例子里面,各处使用的情况差别很大. 我花了些时间把这两个接口使用方法整理如下:<br />1. 在单线程(single-threaded)环境中<br /> xmlInitParser 可以被调用一次,或者被调用多次(多于一次),甚
2010-09-04 15:15:00
4278
原创 libxml使用实例
<br />libxml2<br />1 声明指针： 文档指针(xmlDocPtr)，结点指针(xmlNodePtr)；<br />2 得到文档doc: xmlReadFile<br />3 得到根结点root_node： xmlDocGetRootElement<br />4 结点操作：<br />1)获得到结点值： xmlNodeGetContent(对应于xmlFree)<br />2)遍历：<b
2010-09-04 15:14:00
4365
原创 valgrind简单用法
<br />Valgrind的主要作者Julian Seward刚获得了今年的Google-O'Reilly开源大奖之一──Best Tool Maker。让我们一起来看一下他的作品。Valgrind是运行在Linux上一套基于仿真技术的程序调试和分析工具，它包含一个内核──一个软件合成的CPU，和一系列的小工具，每个工具都可以完成一项任务──调试，分析，或测试等。Valgrind可以检测内存泄漏和内存违例，还可以分析cache的使用等，灵活轻巧而又强大，能直穿程序错误的心脏，真可谓是程序员的瑞士军刀。 <
2010-09-04 15:11:00
1656
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人