2013年03月_sanguomi

12月 03月 02月 01月

原创 hadoop提升性能总结

1 CombineFileinputFormat (预处理阶段) 或尽量使用大文件 2 Combine(map输出阶段) 3 压缩数据(map输出阶段)，减少传往reduce的阶段的网络传输,内存和磁盘交换 4 数据过滤(写hdfs之前) 5 Comparator(复杂数据， Reduce阶段) 以上纯纯个人观点

2013-03-18 17:45:06 777

原创 hadoop性能测试

从搭建hadoop环境到测试完成大概用了8,9天的时间，总的来说，hadoop上手还是比较容易的，只是内部确实有点复杂。测试环境部署用了22台机器，CPU 16核，感觉有点浪费。日志每分钟往hdfs写600M的log，每五分钟提交一次hadoop任务，大概一个任务处理2G多点的文件，测试结果，到reduce 完成时间大概是1分9- 1分30秒之间，大概是开了90多个map, 这在以前pc上

2013-03-17 22:27:26 1662

原创第一次写java程序

没有看书，直接写的代码，感觉入门还很容易。总共1个小时左右写了第一个程序，写了个多线程随即生成内容写入文件，文件总大小10G左右，准备放到HADOOP环境去测试下不同 Reduce配置下的效率。将来一段时间可能java用的比较多，以后有时间还得看下语法。

2013-03-08 22:59:09 772

原创安装hadoop

花费了差不多一天的时间，安裝好了hadoop环境，一台服务器作为master, 三台作为dataNode ,测试了官方的demo，可以正确运行。哪天有时间再来总结, 解决问题 http://blog.sina.com.cn/s/blog_575b0ca501016z6i.html http://www.cnblogs.com/wly603/archive/2012/

2013-03-06 17:32:11 676

dll中函数调用dll中的资源文件

dll中函数调用dll中的资源文件 dll中函数调用dll中的资源文件

2010-05-24

根据服务名取进程ID

（DELPHI7自带的WinSvc单元没有定义MSDN新增的几个函数 QueryServiceStatusEx, EnumServicesStatusEx 等）,附带了WinSvc单元新增的这几个函数的定义

2010-01-25

Detours 2.1

Detours 2.1 附带 detoured.dll，detoured.lib, detours.h, detours.lib 使用时直接将四个文件拷贝至当前工程就可使用

2010-01-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人